Google Cloud Dataflowジョブのインベントリ

データ処理ジョブと責任者を整理してください。

説明

Dataflowジョブの一覧は、バッチ処理やストリーミング処理で扱うデータと運用責任を把握するために役立ちます。ジョブの存在自体は脆弱性ではありません。

想定される影響

一覧から漏れたジョブは、サービスアカウントの権限、ネットワーク、一時ストレージの点検でも見落とされるおそれがあります。

対処方法

各ジョブの責任者と入出力データを記録し、サービスアカウント、ネットワーク、一時バケット、暗号化キーの管理方針を確認してください。

例

以下はサービスと環境のラベルを追加する例です。テンプレートと一時ストレージのURLは対象環境に合わせて指定してください。ラベルはアクセス権限を変更しません。

変更前

hcl
resource "google_dataflow_job" "stream_job" {
  name              = "stream-job"
  template_gcs_path = "gs://example/templates/job"
  temp_gcs_location = "gs://example/tmp"
}

変更後

hcl
resource "google_dataflow_job" "stream_job" {
  name              = "stream-job"
  template_gcs_path = "gs://example/templates/job"
  temp_gcs_location = "gs://example/tmp"

  labels = {
    service = "streaming"
    env     = "prod"
  }
}

参考資料