タスクの数が多いジョブ

最大 1,000 個のタスクを含むジョブを作成できます。 次のトピックでは、100 個を超えるタスクを含む大規模なジョブが発生する可能性がある特定の問題を解決する方法について説明します。

100 個のタスクのみが許可されるというエラーが発生する

Resources with more than 100 tasks can only be handled by API 2.2 and above. Your resource has 200 tasksのようなエラーが発生した場合は、Databricks SDK または Databricks CLI を更新する必要があります。

言語別に必要な SDK の最小バージョンを次に示します。

SDK の使用とアップグレードの詳細については、「 Databricks SDK」を参照してください。

Databricks CLI は、少なくともバージョン 0.244.0 である必要があります。 Databricks CLI のインストールと更新の詳細については、 Databricks CLI のインストールまたは更新を参照してください。

150 個の実行コンテキストのみが許可されるというエラーが発生する

Too many execution contexts are open right now. (Limit set to 150)のようなエラーが発生した場合、ジョブは 1 つのコンピューティング クラスターで実行しようとしているタスクが多すぎます。 タスクを複数のクラスターに分割する必要があります。 詳細については、「 ジョブのコンピューティングの構成」を参照してください。

ジョブ実行のマトリックス ビューの速度が低下するか、個々のタスクが表示されない

マトリックス ビューで多数のタスクを表示している場合 (たとえば、500 個のタスクを含むジョブ、100 個のジョブ実行を表示するジョブなど)、UI の速度が低下する可能性があります。 極端な場合、ビューには、タスクごとの詳細ではなく、各ジョブの概要のみが表示される場合があります。

ビューをより短い期間にフィルター処理して、1 回に表示されるタスクの数を減らすことができます。 これにより、速度が向上し、ビューにすべてのタスクの詳細が表示されます。

マトリックス ビューの詳細については、「1 つのジョブの実行を表示する」を参照してください。