説明
Databricks クラスターの autoscale には、ワークロードに合った min_workers と max_workers が必要です。片方を省略すると意図する範囲が不明確になり、設定の適用が拒否される場合もあります。
想定される影響
容量の設定が不完全だと、クラスターを作成できなかったり、必要な性能や費用の上限を管理しにくくなったりするおそれがあります。
対処方法
ワーカー数の下限と上限を両方指定し、サービスで使用できる範囲内でワークロードと予算に合わせて調整してください。
例
変更後の例ではワーカー数を 1～50 に設定しています。すべてのワークロードに推奨する値ではありません。ランタイムとノードの種類を取得するデータソースは省略しています。
変更前
hcl
resource "databricks_cluster" "example" {
cluster_name = "Shared Autoscaling"
spark_version = data.databricks_spark_version.latest.id
node_type_id = data.databricks_node_type.smallest.id
autotermination_minutes = 20
autoscale {
min_workers = 1
}
}
変更後
hcl
resource "databricks_cluster" "example" {
cluster_name = "Shared Autoscaling"
spark_version = data.databricks_spark_version.latest.id
node_type_id = data.databricks_node_type.smallest.id
autotermination_minutes = 20
autoscale {
min_workers = 1
max_workers = 50
}
}