ジョブのためのPythonスクリプトのタスク

Python ファイルを実行するには、Python スクリプト タスクを使用します。

Requirements

  • ジョブを構成するユーザーがアクセスできる場所に、Python スクリプトをアップロードする必要があります。 Databricks では、Python スクリプトにワークスペース ファイルを使用することをお勧めします。 「ワークスペース ファイルとは」を参照してください。

Python スクリプト タスクを構成する

Note

ジョブ UI には、その他の構成済みの設定に基づいてオプションが動的に表示されます。

Databricks では、DBFS ルートまたはマウントを使用してコードやデータを格納しないことをお勧めします。 代わりに、Pythonスクリプトをワークスペース ファイルまたはボリュームに移行したり、URI を使用してクラウド オブジェクト ストレージにアクセスしたりできます。

Python script タスクを構成するフローを開始するには:

  1. ジョブ UI の [ タスク ] タブに移動します。
  2. [ プラス] アイコンをクリックします。タスクを追加します。
  3. [タスク名] フィールドに名前を入力します。
  4. Type ドロップダウン メニューで、Python script を選択します。

ソースを構成する

[ソース] ドロップダウン メニューで、次のいずれかのオプションを使用して Python スクリプトの場所を選択します。

Workspace

Workspace を使用して、ワークスペース ファイルを使用して格納されるPython スクリプトを構成します。

  1. [パス] フィールドをクリックします。 Pythonファイル選択ダイアログが表示されます。
  2. Python スクリプトを参照し、クリックしてファイルを強調表示し、Confirm をクリックします。

Note

このオプションを使用すると、Databricks Git フォルダーに格納されているPython スクリプトでタスクを構成できます。 Databricks では、[Git プロバイダー] オプションとリモート Git リポジトリを使用して、ジョブでスケジュールされたアセットをバージョン管理することをお勧めします。

DBFS/ADLS

DBFS/ADLS を使用して、ボリューム、クラウド オブジェクト ストレージの場所、または DBFS ルートに格納されているPython スクリプトを構成します。

Databricks では、Python スクリプトを Unity カタログ ボリュームまたはクラウド オブジェクト ストレージに格納することをお勧めします。

Path フィールドに、Python スクリプトの URI を入力します。 たとえば、dbfs:/path/to/script.py または abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/script.py です。

Git プロバイダー

Git provider を使用して、リモート Git リポジトリに格納されているPython スクリプトを構成します。

UI によって表示されるオプションは、他の場所で Git プロバイダーを既に構成しているかどうかによって異なります。 ジョブ内のすべてのタスクに使用できるリモート Git リポジトリは 1 つだけです。 「Lakeflow ジョブで Git を使用する」を参照してください。

git リファレンスを構成した後、 [パス] フィールドが表示されます。

etl/bronze/ingest.py など、Python スクリプトの相対パスを入力します。

Von Bedeutung

相対パスを入力するときは、 / または ./で始めないでください。 たとえば、アクセスするPython コードの絶対パスが /etl/bronze/ingest.py の場合は、etl/bronze/ingest.py フィールドに「」と入力します。

コンピューティング ライブラリと依存ライブラリを構成する

  1. [コンピューティング] を使用して、スクリプトのロジックをサポートするクラスターを選択または構成します。
  2. Serverless コンピューティングを使用する場合は、[環境とライブラリ] フィールドを使用して、新しい環境を選択、編集、または追加します。 「サーバーレス環境を構成する」を参照してください。
  3. その他のすべてのコンピューティング構成の場合は、[プラス] アイコンをクリックします。依存ライブラリの下に追加します。 [ 依存ライブラリの追加 ] ダイアログが表示されます。
    • 既存のライブラリを選択するか、新しいライブラリをアップロードできます。
    • 使用できるのは、コンピューティング構成でサポートされている場所に格納されているライブラリのみです。 Python ライブラリのサポートを参照してください。
    • ライブラリ ソース ごとに、ライブラリを選択またはアップロードするためのフローは異なります。 「 ライブラリのインストール」を参照してください。

ジョブ構成を完了する

  1. (省略可能)cli 引数として Python スクリプトに渡される文字列の一覧として、Parameters を構成します。 「タスク パラメーターを構成する」を参照してください。
  2. (省略可能)再試行、実行期間、ストリーミング バックログのしきい値、または通知を構成するには、「 タスクの詳細設定」を参照してください。
  3. [タスクの保存] をクリックします。

このタスクを編集、複製、無効化、または削除するには、「 Lakeflow ジョブのタスクの構成と編集」を参照してください。

その他のリソース

  • Last updated on