Lakeflow Connect のマネージド コネクタ

このページでは、SaaS アプリケーションとデータベースからデータを取り込むための Databricks Lakeflow Connect のマネージド コネクタの概要について説明します。 結果として得られるインジェスト パイプラインは Unity カタログによって管理され、サーバーレス コンピューティングと Lakeflow パイプラインを利用します。 マネージド コネクタでは、効率的な増分読み取りと書き込みを利用して、データ インジェストを高速化、スケーラブル、コスト効率に優れ、ダウンストリームで使用するためにデータを最新の状態に保ちます。

コネクタの種類

アーキテクチャ

各コネクタの種類には、コンポーネントの個別のセットがあります。 SaaS コネクタでは、接続、インジェスト パイプライン、および宛先テーブルが使用されます。 データベース コネクタには、継続的な変更キャプチャをサポートするためのインジェスト ゲートウェイとステージング ストレージも含まれています。 詳細については、 マネージド SaaS コネクタとマネージド データベース コネクタに関する ページ を参照してください。

クエリ ベースのコネクタ コンポーネント

クエリ ベースのコネクタは、ゲートウェイまたはステージング ストレージを使用せずに、スケジュールに基づいてソース データベースに直接クエリを実行します。 クエリ ベースのコネクタのしくみの概要については、 クエリ ベースのコネクタに関するページを参照してください。

ストリーミング コネクタ コンポーネント

ストリーミング コネクタは、メッセージ バスまたはイベント ストリーミング ソースからメッセージを継続的に読み取り、ストリーミング テーブルに書き込みます。 ストリーミング コネクタのしくみの概要については、 マネージド ストリーミング コネクタに関するページを参照してください。

オーケストレーション

インジェスト パイプラインは、1 つ以上のカスタム スケジュールで実行できます。 パイプラインに追加するスケジュールごとに、Lakeflow Connect によって自動的に ジョブ が作成されます。 インジェスト パイプラインは、ジョブ内のタスクです。 必要に応じて、ジョブにさらにタスクを追加できます。

データベース コネクタの場合、インジェスト ゲートウェイは、連続タスクとして独自のジョブで実行されます。

増分インジェスト

Lakeflow Connect では、増分インジェストを使用してパイプラインの効率を向上させます。 パイプラインの最初の実行では、選択したすべてのデータがソースから取り込まれます。 並行して、ソース データへの変更を追跡します。 パイプラインの後続の実行ごとに、その変更追跡を使用して、可能な場合は、前の実行から変更されたデータのみを取り込みます。

正確なアプローチは、データ ソースで使用できる内容によって異なります。 たとえば、SQL Serverで変更の追跡と変更データ キャプチャ (CDC) の両方を使用できます。 これに対し、Salesforce コネクタは、オプションのセット リストからカーソル列を選択します。

一部のソースまたは特定のテーブルでは、現時点では増分インジェストがサポートされていません。 Databricks では、増分サポートの対象範囲を拡大する予定です。

ネットワーク

SaaS アプリケーションまたはデータベースに接続するには、いくつかのオプションがあります。

• SaaS アプリケーション用のコネクタは、ソースの API にアクセスします。 また、サーバーレスエグレス 制御と自動的に互換性があります。
• クラウド データベースのコネクタは、Private Link経由でソースに接続できます。 または、ワークスペースに、データベースをホストする VNet または VPC とピアリングされた Virtual Network (VNet) または Virtual Private Cloud (VPC) がある場合は、その内部にゲートウェイをデプロイできます。
• オンプレミスデータベースのコネクタは、AWS Direct Connect や Azure ExpressRoute などのサービスを使用して接続できます。

デプロイメント

インジェスト パイプラインは、ソース管理、コード レビュー、テスト、継続的インテグレーションと配信 (CI/CD) などのベスト プラクティスを有効にする 宣言型オートメーション バンドルを使用してデプロイできます。 バンドルは Databricks CLI を使用して管理され、開発、ステージング、運用など、さまざまなターゲット ワークスペースで実行できます。

プログラムで接続を作成する

API 専用認証 (すべてのデータベース コネクタとほとんどの SaaS コネクタ) を使用するコネクタの場合は、カタログ エクスプローラー UI の代わりに、ノートブック、Databricks CLI、または宣言型オートメーション バンドルを使用してプログラムで接続を作成できます。

• ノートブック: ノートブックの Connections API を使用して接続を作成し、パイプラインに渡します。
• Databricks CLI: databricks connections createを使用して--jsonを実行して、接続の種類と資格情報を渡します。 JSON 本文は、 Connections REST API と同じスキーマに従います。
• 宣言型オートメーション バンドル: パイプラインをデプロイする前に、事前デプロイ スクリプトまたはジョブ タスクを使用して、バンドル ワークフローの一部として databricks connections create を呼び出します。

障害復旧

フル マネージド サービスとして、Lakeflow Connect は可能な限り問題から自動的に復旧することを目的としています。 たとえば、コネクタが失敗すると、指数バックオフで自動的に再試行されます。

エラーに対する介入が必要になる場合があります。たとえば、資格情報の有効期限が切れる場合などです。 このような場合、コネクタはカーソルの最後の位置を格納することで、データの欠落を回避しようとします。 その後、可能であれば、パイプラインの次の実行でその位置からバックアップを取得できます。

モニタリング

Lakeflow Connect は、パイプラインを維持するのに役立つ堅牢なアラートと監視を提供します。 これには、イベント ログ、クラスター ログ、パイプラインの正常性メトリック、およびデータ品質メトリックが含まれます。 また、 system.billing.usage テーブルを使用してコストを追跡し、パイプラインの使用状況を監視することもできます。 マネージド インジェスト パイプライン コストの監視を参照してください。

データベース コネクタの場合、イベント ログを使用してゲートウェイの進行状況をリアルタイムで監視できます。 イベント ログを使用したインジェスト ゲートウェイの進行状況の監視を参照してください。

コミュニティ コネクタ

コミュニティ コネクタは、マネージド コネクタのサポートなしで Lakeflow Connect をソースに拡張します。 これらはコミュニティによって構築および管理されています。 Lakeflow Connect のコミュニティ コネクタを参照してください。

カスタムコネクター

もし管理されたコネクタやコミュニティコネクターがソースをサポートしていなければ、自分でカスタムコネクタを作ってワークスペースで実行できます。 Lakeflow Connectのカスタムコネクターの作成を参照してください。

外部サービスへの依存

Databricks SaaS、データベース、およびその他のフル マネージド コネクタは、接続先のアプリケーション、データベース、または外部サービスのアクセシビリティ、互換性、安定性に依存します。 Databricks はこれらの外部サービスを制御しないため、変更、更新、メンテナンスに対する影響は限られています (ある場合)。

外部サービスに関連する変更、中断、または状況によってコネクタの操作が妨げられ、または実用的でない場合、Databricks はそのコネクタの保守を中止または停止する可能性があります。 Databricks は、該当するドキュメントの更新を含め、メンテナンスの中止または停止を顧客に通知するために合理的な努力を行います。