Azure DatabricksのIDE拡張機能を使って、クラスタやファイル、ノートブック上のファイルをジョブとして実行します

Databricks IDE拡張機能は、PythonコードをクラスターやPython、R、Scala、またはノートブックで実行できるジョブとしてAzure Databricksで使えます。

この情報は、すでにDatabricks IDE拡張機能をインストールして設定していることを前提としています。 詳細は 「Databricks IDE拡張機能のインストール」を参照してください。

クラスターで Python ファイルを実行する

Azure Databricks クラスター上で、Databricks IDE拡張機能とプロジェクトを開いた状態で、Pythonファイルを実行するには:

1. クラスターで実行する Python ファイルを開きます。
2. 次のいずれかの操作を行います。

   • ファイル エディターのタイトル バーで、[ Databricks で実行 ] アイコンをクリックし、[ ファイルのアップロードと実行] をクリックします。

     

   • エクスプローラー ビュー ([ビュー] > [エクスプローラー]) でファイルを右クリックし、コンテキスト メニューから [Databricks で実行]>[ファイルをアップロードして実行] を選択します。

     

ファイルはクラスターで実行され、デバッグ コンソール ([ビュー] > [デバッグ コンソール]) に出力されます。

Python ファイルをジョブとして実行する

PythonファイルをAzure Databricksの作業としてDatabricks IDE拡張で実行するには、拡張機能とプロジェクトを開いた状態で:

1. ジョブとして実行する Python ファイルを開きます。
2. 次のいずれかの操作を行います。

   • ファイル エディターのタイトル バーで、[ Databricks で実行 ] アイコンをクリックし、[ ワークフローとしてファイルを実行] をクリックします。

     

   • エクスプローラー ビュー ([ビュー] > [エクスプローラー]) でファイルを右クリックし、コンテキスト メニューから [Databricks で実行]>[ワークフローとしてファイルを実行] を選択します。

     

[Databricks Job Run](Databricks ジョブの実行) というタイトルの新しいエディター タブが表示されます。 ファイルはワークスペースでジョブとして実行され、すべての出力が新しいエディター タブの [出力 ] 領域に出力されます。

ジョブの実行に関する情報を表示するには、新しい Databricks ジョブ実行エディター タブの [タスク実行 ID] リンクをクリックします。ワークスペースが開き、ジョブ実行の詳細がワークスペースに表示されます。

Python、R、Scala、SQL ノートブックをジョブとして実行する

Databricks IDE拡張機能とプロジェクトを開いた状態で、Azure Databricksジョブとしてノートブックを実行するには:

1. ジョブとして実行するノートブックを開きます。

   ヒント

   Python、R、Scala、SQL ファイルを Azure Databricks ノートブックに変換するには、ファイルの先頭にコメント # Databricks notebook source を追加し、各セルの前にコメント # COMMAND ---------- を追加します。 詳細については、「 ファイルをノートブックに変換する」を参照してください。

   

2. 次のいずれかの操作を行います。

   • ノートブック ファイル エディターのタイトル バーで、[ Databricks で実行 ] アイコンをクリックし、[ ワークフローとしてファイルを実行] をクリックします。

     注

     [Run on Databricks as Workflow] (ワークフローとして Databricks で実行) が使用できない場合は、「カスタム実行構成を作成する」を参照してください。

   • エクスプローラー ビュー ([ビュー] > [エクスプローラー]) でノートブック ファイルを右クリックし、コンテキスト メニューから [Databricks で実行]>[ワークフローとしてファイルを実行] を選択します。

[Databricks Job Run](Databricks ジョブの実行) というタイトルの新しいエディター タブが表示されます。 ノートブックは、ワークスペース内のジョブとして実行されます。 ノートブックとその出力は、新しいエディター タブの [出力 ] 領域に表示されます。

ジョブの実行に関する情報を表示するには、[Databricks ジョブ実行エディター] タブの [タスク実行 ID] リンクをクリックします。ワークスペースが開き、ジョブ実行の詳細がワークスペースに表示されます。

カスタム実行構成を作成する

Databricks IDE拡張のカスタム実行設定では、ジョブやノートブックにカスタム引数を渡したり、異なるファイルごとに異なる実行設定を作成したりできます。 詳細については、Visual Studio Code のドキュメントの「構成の起動」を参照してください。

カスタム実行構成を作成するには、Visual Studio Code のメイン メニューから [実行] > [構成の追加] をクリックします。 次に、クラスターベースの実行構成の場合は [Databricks]、ジョブベースの実行構成の場合は [Databricks: Workflow] を選択します。

たとえば、次のカスタム実行構成では、[ワークフローとしてファイルを実行] 起動コマンドが変更され、 --prod 引数がジョブに渡されます。

{
  "version": "0.2.0",
  "configurations": [
    {
      "type": "databricks-workflow",
      "request": "launch",
      "name": "Run on Databricks as Workflow",
      "program": "${file}",
      "parameters": {},
      "args": ["--prod"]
    }
  ]
}