適用対象: 
SaaS コネクタ データベース コネクタ
マネージド インジェスト パイプラインが実行されると、Lakeflow Connect は、SaaS アプリケーションまたはソース データベースのソース テーブルから Unity カタログの宛先 Delta テーブルに系列を自動的に記録します。 これにより、取り込まれたデータをエンド ツー エンドでトレースできるように、Unity カタログでダウンストリーム クエリ、ジョブ、ダッシュボード、ノートブック用に既にキャプチャされている系列グラフが拡張されます。 エンド ツー エンドのソース系列では、取り込まれたデータのデータ ガバナンス、検出、および変更管理ワークフローがサポートされます。
ソース テーブルごとに、Lakeflow Connect は Unity カタログ 外部メタデータ オブジェクト (系列グラフのアップストリーム ノード) と、そのオブジェクトからコピー先テーブルへの 外部系列 リレーションシップを列レベルのマッピングと共に書き込みます。 Unity カタログの外部系列の背景については、「 外部系列」を参照してください。
Requirements
パイプラインを実行する ID には、メタストアに対する CREATE EXTERNAL METADATA 特権が必要です。 パイプラインがサービス プリンシパルとして実行されるように構成されている場合は、サービス プリンシパルに特権を付与します。
パイプラインのRun as ID の構成を参照してください。
パイプラインで有効にする設定はありません。 パイプラインの更新が完了すると、パイプラインはソース リネージを自動的に入力します。
パイプラインがソース系列を設定する方法
パイプラインの更新がテーブルの処理を完了すると、Lakeflow Connect は取り込まれたソース オブジェクトごとに次の処理を行います。
- ソース テーブルを表す Unity Catalog 外部メタデータ オブジェクトを作成または更新します。 このオブジェクトは、ソース接続名、ソース カタログ、スキーマ、テーブル、およびソース列名とソース システムの種類 (
MicrosoftSQLServer、PostgreSQL、Salesforceなど) を記録します。 - 1:1 列レベルのマッピングを使用して、外部メタデータ オブジェクトから変換先の Delta テーブルへの 外部系列 リレーションシップを作成または更新します。
外部メタデータ名は <connection-name>:<source-table-full-name>され、各 . は __に置き換えられます。 たとえば、sql_prod 取り込み sales.dbo.Customers という名前のSQL Server接続では、外部メタデータ名 sql_prod:sales__dbo__Customersが生成されます。 名前は接続でキー付けされるため、同じ接続を介して同じソース テーブルを取り込むすべてのパイプラインは、同じ外部メタデータ オブジェクトと同じアップストリーム系列エッジを共有します。
リネージの作成はベストエフォート方式です。 系列メタデータの書き込みが失敗した場合 (たとえば、権限がないため)、パイプラインはエラーをログに記録して続行します。 根本的な問題を修正すると、次回のパイプライン更新で不足しているリネージが補完されます。
ソース系列の表示
取り込まれたテーブルのソース系列を表示するには:
- Azure Databricks ワークスペースで、
Catalog をクリックします。 - パイプラインの書き込み先の Delta テーブルを開きます。
- [ 系列 ] タブをクリックします。
アップストリーム ノードは、ソース テーブルを表す外部メタデータ オブジェクトです。 ノードをクリックすると、ソース接続、ソース カタログ、スキーマ、およびテーブルと、コピー先テーブルへの列レベルのマッピングが表示されます。
制限事項
- 各ソース テーブルは、接続ごとに 1 つの外部メタデータ オブジェクトによって表されます。 ということは：
- 外部メタデータ オブジェクトに対する手動編集は保持されません。次のパイプライン更新では、パイプライン構成から派生した値で上書きされます。
- 接続を共有するパイプラインは、同じアップストリーム系列を共有します。 複数のパイプラインで同じ接続を使用して同じソース テーブルを取り込む場合、各更新によって外部メタデータ オブジェクトが上書きされます。 Lakeflow Connect は、指定した接続上の指定したソース テーブルに対して常に同じ内容を書き込むため、上書きは冪等です。
- 認識されないソース システムの種類は、
Otherシステムの種類で記録されます。 認識される型は、SQL Server、PostgreSQL、MySQL、Oracle、Salesforce、ServiceNow、Workday です。
