Lakeflow Designer でビジュアル データ準備を作成する

Lakeflow Designer を使用すると、ビジュアルのドラッグ アンド ドロップ キャンバスでデータ変換ワークフローを構築できます。 このページでは、データ ソースの追加や演算子のチェーンから結果のプレビュー、Unity カタログへの書き込みまで、視覚的なデータ準備を作成する方法について説明します。

Requirements

Lakeflow Designer を使用するには、次が必要です。

• Unity カタログが有効になっている Azure Databricks ワークスペース。
• CAN USE 1 つ以上の汎用コンピューティング リソース (サーバーレスまたはオール目的) に対するアクセス許可。

デザイナーの右上にある [ スケジュール ] ボタンの横にあるコンピューティング ピッカーから、使用するコンピューティングを選択します。

新しいビジュアル データ準備を作成する

新しいビジュアル データ準備を作成するには、[プラス] アイコンをクリックサイドバーの新機能を選択し、[ビジュアルデータの準備] を選択します。

デザイナーが開き、ようこそ画面が表示され、データ ソースを追加したり、サンプルのビジュアル データ準備を探索したりできます。

既存のビジュアル データ準備ファイルを見つけるには、サイドバーから ビジュアル データ準備 ページを開きます。 このページには、すべてのビジュアル データ準備ファイルが一覧表示され、Lakeflow Designer の使用を開始するのに役立つ入門ビデオが含まれています。

データ ソースを追加する

すべてのビジュアル データの準備は、1 つ以上のデータ ソースから始まります。 Source 演算子は、キャンバス上のデータ ソースを表します。

データ ソースを追加するには:

1. Source 演算子を追加します。 ようこそ画面で、[ ソース演算子の選択] をクリックします。 キャンバスからオペレーター メニューを開き、[ソース] を選択 します。
2. [ ソース 構成] ウィンドウで、データを取り込む方法を選択します。
   • 既存のテーブルを選択します。
   • ローカル CSV またはExcel ファイルをアップロードします。
   • ファイルからテーブルを作成します。
   • Google ドライブまたはSharePointからインポートします。
3. データ ソースを選択または構成します。 Source 演算子がキャンバスに表示されます。

CSV またはExcel ファイルをキャンバスに直接ドラッグ アンド ドロップして、Source 演算子をすばやく作成することもできます。

後でソースを変更するには、Source 演算子を開き、[ 新しいデータ ソースの選択] をクリックします。 ソースを変更すると、すべてのダウンストリーム演算子の出力キャッシュが無効になります。

各インジェスト オプションの詳細については、「 Lakeflow Designer へのデータの取り込み」を参照してください。

演算子の追加と構成

演算子を追加するには、キャンバスの左側にあるサイド ペインで演算子メニューを開きます。 演算子をクリックしてキャンバスに追加するか、メニューからキャンバスに演算子をドラッグします。 既存のオペレーターの横にある [ + ] ボタンをクリックして、自動接続で新しいオペレーターを追加することもできます。

オペレーターを構成するには、オペレーターをダブルクリックするか、カーソルを置いて (オペレーターの編集) をクリックして、構成ウィンドウを開きます。 その演算子の種類のオプションを設定し、[ 適用] をクリックします。

使用可能な各演算子の詳細については、 Lakeflow Designer の組み込み演算子を参照してください。 独自のユーザー定義演算子の作成の詳細については、 Lakeflow Designer でのユーザー定義演算子に関するページを参照してください。

接続演算子

2 つの演算子を接続するには、出力ハンドル (演算子の右端にある小さな円) をクリックして入力ハンドル (次の演算子の左端にある小さな円) にドラッグします。 これは、データが最初の演算子から 2 番目の演算子に流れることを指定します。 データは、ビジュアル データ準備を通じて左から右に流れます。

結合や結合などの一部の演算子は、複数の入力を受け入れます。

接続を削除するには、その上にカーソルを合わせ、接続の上に表示されるツール バーで をクリックします。

Genie コードを使用する

Lakeflow Designer での編集中はいつでも、Genie Code にヘルプを表示するプロンプトを作成できます。 Genie Code を参照してください。

Genie Code を使用する場合、次のボタンによって追加の機能が提供されます。

• プロンプトの一部として使用するファイルを添付します。
• プロンプトの一部として使用するテーブルやファイルなどのオブジェクトをメンションするために使用します。
• : 新しいエージェント コンテキストで新しいチャット スレッドを開始します。
• 会話履歴のサイド ウィンドウを開き、エージェントの動作をより詳細に表示します。

Genie Code には、入力ボックスの上に最新の編集の 1 行の概要が表示されます。

結果のプレビュー

任意の演算子を選択すると、画面の下部にある出力ウィンドウに結果が表示されます。 ほとんどの演算子の種類では、入力データは左側にあり、出力データは右側にあります。 プロット、HTML、画像など、テーブル以外の結果を生成する演算子は、それらの出力を出力ウィンドウに直接レンダリングします。

出力ウィンドウのビュー コントロールを使用して、入力と出力 (既定)、入力のみ、または出力のみを切り替えます。 結合されたビューで、分割線をドラッグして入力ペインと出力ペインのサイズを変更します。

既定では、オペレーターはプレビュー用に限られたデータ サンプルを処理します。 出力ウィンドウの [ スキャンされた行 ] ドロップダウン メニューを使用して、処理する行の数を制御します。

• スキャンされた行: 制限: 最初の N 個の入力行を処理します。 ドロップダウン メニューの横にあるフィールドの行数を指定します。
• スキャンされた行: 最大: すべての入力行を処理します。

[スキャンされた行] 設定は、プレビュー処理のみを制御します。 スケジュールされた実行とジョブの実行では、常に完全なデータセットが処理されます。

結果を書き込む

Output 演算子を追加して結果を書き込みます。 Output 演算子は、Unity カタログ テーブルに書き込んだり、結果を具体化されたビューとして発行したり、CSV、Excel、または JSON ファイルを Unity カタログ ボリュームに書き込んだりできます。

1. 演算子メニューを開き、[ 出力] を選択するか、最後の演算子 + 横にある [ 出力] をクリックします。
2. 接続されていない場合は、最後の変換の出力ハンドルを Output 演算子の入力ハンドルに接続します。
3. Output 演算子をダブルクリックして、その構成ウィンドウを開きます。
4. 出力の 種類 を選択し、変換先を構成します。 テーブルの場合は、 テーブル名を入力し、 出力場所 (カタログとスキーマ) を選択し、 書き込みモードを選択します。
5. [実行] をクリックします。

出力の種類と書き込みモードの完全なセットについては、「 出力」を参照してください。

運用環境でスケジュールを設定または実行する

ワークフローは、ジョブとしてスケジュールすることで自動化できます。 上部のメニューの [スケジュール] ボタンをクリックして、ビジュアル データ準備のスケジュールされたジョブを作成するか、ビジュアル データ準備をタスクとして大きなAzure Databricks ジョブに追加します。

ビジュアル データ準備を運用環境に移動する (Git への格納、宣言型オートメーション バンドルでのデプロイ、環境間でのパラメーター化など) については、「 ビジュアル データ準備ファイルを運用環境に移動する」を参照してください。

ビジュアル データ準備ファイルのエクスポートとインポート

ビジュアル データ準備ファイルは、ワークスペースにネイティブに格納されます。 それらをエクスポートしてインポートして、ワークスペース間で移動したり、共有したりできます。

ビジュアル データ準備ファイルをエクスポートするには:

1. 右上隅にある をクリックします。
2. ファイル>エクスポート を選択します。
3. ファイルは <file_name>.designer.ipynbとしてエクスポートされます。

ビジュアル データ準備ファイルをインポートするには:

1. ワークスペース ファイル システムで、[ をクリックします。
2. インポートを選択します。
3. インポートするビジュアル データ準備ファイルを選択します。

Git を使用してビジュアル データ準備ファイルをバージョン管理し、運用環境に移行するには、「 ビジュアル データ準備ファイルを運用環境に移動する」を参照してください。

ビジュアル データ準備ファイルの名前を変更する

ビジュアル データ準備ファイルの名前を変更するには、エディターの上部に名前が表示されているタブをクリックし、新しい名前を入力します。

ビジュアル データ準備ファイルを削除する

ビジュアル データ準備ファイルを削除するには、 を開きます。ファイルの kebab メニューを開 き、[ごみ箱に移動] を選択します。

複数のビジュアル データ準備ファイルを一度に削除するには、左側のナビゲーションから ワークスペース を開き、削除するファイルを選択し、一覧の上部にある [ ごみ箱に移動 ] を選択します。

キャンバスで作業するときのその他のヒント

ビジュアル データの準備を編集するために、キャンバスで次のアクションを使用できます。

• オペレーターの名前を変更する: 構成ウィンドウの上部にあるボックスをクリックして、オペレーターの名前を変更します。 わかりやすい名前を使用すると、視覚的なデータ準備を一目で理解しやすくなります。 SQL 演算子などの一部の演算子は、他の演算子の出力を名前で参照できます。
• 演算子をコピーする: 演算子の上にマウス ポインターを置き、[ をクリックします。または、演算子を選択して Cmd/Ctrl + C キーを押し、 Cmd/Ctrl + V キーを押します。
• 演算子を削除する: 演算子の上にマウス ポインターを置き、[ をクリックします。その上に表示されるツール バーで、演算子を選択して Delete キーを押 します。
• 自動レイアウト: をクリックします。ヘッダー ツール バーで、すべての演算子をコンパクト なレイアウトに自動的に配置します。
• フィット ビュー: [ ヘッダー ツールバーで、現在のビューポート内のすべての演算子を表示します。
• 元に戻すとやり直し: Cmd/Ctrl+Z と Cmd/Ctrl+Shift+Z を押すか、ヘッダーツールバーの [元に戻す] ボタンと [やり直し] ボタンを使用します。
• コマンド パレットを開きます。macOS の場合は Cmd + Shift + P キーを押し、Windowsでは Ctrl + Shift + P キーを押すと、エディターアクションにすばやくアクセスできます。
• 生成されたコードを表示する: 左側 のメニューの [目次 ] タブを開き、演算子を選択し、[ 生成されたコード ] セクションを展開して、デザイナーが生成するコードを表示します。 詳細については、 目次を参照してください。
• バージョン履歴の表示: [ をクリックします。右側のウィンドウで、ビジュアル データ準備のバージョン履歴を開きます。この履歴には変更が一覧表示されます。 バージョンを選択して、次のバージョンと比較します。

追加リソース

• Lakeflow Designer にデータを取り込む
• Lakeflow Designer の組み込み演算子