ジョブ向けノートブックのタスク

ノートブック タスクを使用して Databricks ノートブックをデプロイします。

Requirements

  • ノートブックは、ジョブを構成するユーザーがアクセスできる場所に存在する必要があります。

ノートブック タスクを構成する

Note

ジョブ UI には、その他の構成済みの設定に基づいてオプションが動的に表示されます。

Notebook タスクを構成するフローを開始するには:

  1. ジョブ UI の [ タスク ] タブに移動します。
  2. [ プラス] アイコンをクリックします。タスクを追加します。
  3. [タスク名] フィールドに名前を入力します。
  4. Type ドロップダウン メニューで、Notebook を選択します。

ソースを構成する

[ ソース ] ドロップダウン メニューで、次のいずれかのオプションを使用してノートブックの場所を選択します。

Workspace

Workspace を使用して、次の手順を実行してワークスペースに格納されているノートブックを構成します。

  1. [パス] フィールドをクリックします。 [ノートブックの選択] ダイアログボックスが表示されます。
  2. ノートブックを閲覧し、クリックしてファイルを強調表示し、[確認] をクリックします。

Note

このオプションを使用すると、Databricks Git フォルダーに格納されているノートブックのタスクを構成できます。 Databricks では、ジョブでスケジュールされたアセットのバージョン管理に、[Git プロバイダー] オプションとリモート Git リポジトリを使用することをお勧めします。

Git プロバイダー

[Git プロバイダー] を使用して、リモート Git リポジトリでノートブックを構成します。

UI によって表示されるオプションは、他の場所で Git プロバイダーを既に構成しているかどうかによって異なります。 ジョブ内のすべてのタスクに使用できるリモート Git リポジトリは 1 つだけです。 「Lakeflow ジョブで Git を使用する」を参照してください。

Von Bedeutung

リモート Git リポジトリから実行される Lakeflow ジョブによって作成されたノートブックはエフェメラルであり、MLflow の実行、実験、またはモデルの追跡に依存することはできません。 ジョブからノートブックを作成する場合は、(ノートブック MLflow 実験ではなく) ワークスペース MLflow 実験を使用し、MLflow 追跡コードを実行する前に、ワークスペース ノートブックで mlflow.set_experiment("/path/to/experiment") を呼び出します。 詳細については、MLflow 実験でのデータ損失の防止に関する記事を参照してください。

git リファレンスを構成した後、 [パス] フィールドが表示されます。

etl/bronze/ingest.py など、ノートブックの相対パスを入力します。

Von Bedeutung

相対パスを入力するときは、 / または ./で始めないでください。 たとえば、アクセスするノートブックの絶対パスが /etl/bronze/ingest.py の場合は、etl/bronze/ingest.py フィールドに「」と入力します。

コンピューティング ライブラリと依存ライブラリを構成する

Note

ノートブックが完全に SQL で記述され、SQL が 既定の言語として設定されている場合にのみ、ノートブック タスクのコンピューティングとして SQL ウェアハウスを選択できます。 ノートブックで別の既定の言語が使用されている場合、または言語が混在している場合は、代わりにクラスターまたはその他のサポートされているコンピューティングを選択します。

  1. [コンピューティング] を使用して、ノートブック内のロジックをサポートするクラスターを選択または構成します。
  2. コンピューティング Serverless 使用する場合は、[環境] ウィンドウを使用するか、 %pip installを使用して、ノートブック内にライブラリを直接インストールします。 「サーバーレス環境を構成する」を参照してください。
  3. その他のすべてのコンピューティング構成の場合は、[プラス] アイコンをクリックします。依存ライブラリの下に追加します。 [依存ライブラリの追加] ダイアログが表示されます。
    • 既存のライブラリを選択するか、新しいライブラリをアップロードできます。
    • 使用できるのは、コンピューティング構成でサポートされている場所に格納されているライブラリのみです。 Python ライブラリのサポートを参照してください。
    • ライブラリ ソース ごとに、ライブラリを選択またはアップロードするためのフローは異なります。 「 ライブラリのインストール」を参照してください。

ジョブ構成を完了する

  1. (省略可能) を使用して、ノートブックでアクセスできるようにするためdbutils.widgetsをキーと値のペアとして構成します。 「タスク パラメーターを構成する」を参照してください。
  2. (省略可能)再試行、実行期間、ストリーミング バックログのしきい値、または通知を構成するには、「 タスクの詳細設定」を参照してください。
  3. [タスクの保存] をクリックします。

このタスクを編集、複製、無効化、または削除するには、「 Lakeflow ジョブのタスクの構成と編集」を参照してください。

ビジュアル データの準備

タスクの [種類] ドロップダウンで ビジュアル データ準備 を選択すると、ビジュアル データ準備ファイル用のノートブック タスクが作成されます。 これらのファイルは、Lakeflow Designer のビジュアル キャンバス上にビルドします。これにより、各ファイルが <name>.designer.ipynb という名前のノートブックとして保存されます。 ジョブとして実行するには、ノートブック タスクを追加し、その .designer.ipynb ファイルをソースとして選択します。 Lakeflow デザイナーを参照してください。

Limitations

ノートブック セルの合計出力 (すべてのノートブック セルの結合された出力) には、30 MB のサイズ制限が適用されます。 さらに、個々のセル出力には、8 MB のサイズ制限が適用されます。 合計セルの出力サイズが 30 MB を超える場合、または個々のセルの出力が 8 MB を超える場合、実行は取り消され、失敗としてマークされます。

制限に近づいている、または制限を超えるセルを見つけるのに支援が必要な場合は、汎用クラスターに対してノートブックを実行し、このノートブックの自動保存の手法を使用します。

その他のリソース

  • Last updated on