マネージド コネクタに関する FAQ

Databricks Lakeflow Connect でマネージド コネクタに関してよく寄せられる質問に対する回答を確認します。 コネクタ固有の FAQ については、コネクタのドキュメントを参照してください。

Databricks はどのマネージド コネクタをサポートしていますか?

Lakeflow Connect には、Salesforce、SQL Server、ServiceNow、Google Analytics 用のマネージド コネクタが用意されています。 ロードマップに通知したり、プライベート プレビュー コネクタに早期アクセスしたりするには、アカウント チームにお問い合わせください。

マネージド コネクタはどのインターフェイスをサポートしていますか?

すべてのマネージド コネクタは、Databricks API と宣言型オートメーション バンドルを使用したパイプライン作成をサポートします。 一部のコネクタでは、次のエントリ ポイントからの UI でのパイプラインの作成もサポートされています。

  • [ データの追加] ページ (データ インジェスト)
  • [ジョブとパイプライン] ページ (新規作成>データ取込みパイプライン)
  • 新しいジョブの [タスク ] ウィンドウ (タスクの追加>+ 新しいインジェスト パイプライン または 種類>Pipeline)

サポートされているインターフェイスについては、コネクタの概要ページの 「機能の可用性 」セクションを参照してください。

マネージド コネクタはスキーマの進化をどのように処理しますか?

取り込む列を明示的に指定してオプトアウトしない限り、すべてのマネージド コネクタは新しい列と削除された列を自動的に処理します。

  • 新しい列がソースに表示されると、Databricks はパイプラインの次の実行時に自動的に取り込みます。 スキーマ変更の前に表示された列の行の場合、Databricks は値を空のままにします。 ただし、API 経由で取り込む特定の列を一覧表示するか、UI で今後の列を無効にすることで、自動列インジェストをオプトアウトできます。
  • 列がソースから削除されると、Databricks によって自動的に削除されることはありません。 代わりに、コネクタはテーブル プロパティを使用して、削除された列を宛先の "非アクティブ" に設定します。 後で同じ名前の別の列が表示された場合、パイプラインは失敗します。 この場合、テーブルの完全な更新をトリガーするか、非アクティブな列を手動で削除できます。

同様に、コネクタは新しいテーブルと削除されたテーブルを処理できます。 スキーマ全体を取り込む場合、オプトアウトしない限り、Databricks は新しいテーブルを自動的に取り込みます。また、ソースでテーブルが削除された場合、コネクタはテーブルを変換先の inactive に設定します。 スキーマ全体を取り込む場合は、コネクタのパイプラインあたりのテーブル数に関する制限事項を確認してください。

追加のスキーマ変更は、ソースによって異なります。 たとえば、Salesforce コネクタは列の名前変更を列の削除と追加として扱い、上記の動作で自動的に変更を行います。 ただし、SQL Server コネクタでは、インジェストを続行するために、影響を受けるテーブルの完全な更新が必要です。

スキーマの進化の動作の詳細については、コネクタの概要ページの 「機能の可用性 」セクションを参照してください。

マネージド コネクタをカスタマイズできますか?

取り込まれたオブジェクト、宛先、スケジュール、アクセス許可、通知などを選択できます。 これらのコネクタはフル マネージドであるため、インジェスト プロセス自体をカスタマイズすることはできません。 さらにカスタマイズするために、Lakeflow パイプラインまたは構造化ストリーミングを使用できます。

マネージド コネクタ、Lakehouse フェデレーション、OpenSharing の違いは何ですか?

Lakehouse Federation を使用すると、データを移動せずに外部データ ソースのクエリを実行できます。 OpenSharing を使用すると、プラットフォーム、クラウド、リージョン間でライブ データを安全に共有できます。

マネージド コネクタ、Lakehouse フェデレーション、OpenSharing のいずれかを選択できる場合は、次のシナリオで OpenSharing を選択します。

  • データの重複の制限。
  • 可能な限り最新のデータのクエリの実行。

次のシナリオでは、Lakehouse Federation を選択します。

  • ETL パイプラインでのアドホック レポートまたは概念実証作業。

マネージド コネクタと自動ローダーの違いは何ですか?

マネージド コネクタを使用すると、Salesforce などの SaaS アプリケーションや、SQL Server などのデータベースからデータを増分的に取り込みます。 自動ローダーは、S3、ADLS、および GCS に到着したファイルを増分的に取り込むクラウド オブジェクト ストレージ コネクタです。 Structured Streaming および Lakeflow パイプラインと互換性がありますが、フル マネージドのインジェスト パイプラインは提供されません。

マネージド コネクタはデータ ソースに書き戻すことができますか?

いいえ。 この機能に関心がある場合は、アカウント チームにお問い合わせください。

マネージド コネクタはすべてのリージョンで使用できますか?

いいえ。 インジェストの可用性を参照してください。

パイプラインは複数の宛先スキーマに書き込むことができますか?

この機能は、Salesforce、Workday、ServiceNow など、すべてのマネージド SaaS コネクタの Lakeflow Connect API でサポートされています。

この機能を使用する場合、パイプラインは API 専用になります。 UI では編集できません。

宣言型オートメーション バンドルまたは UI の CLI を使用して作成されたパイプラインを編集できますか?

Yes. YAML または JSON モードを使用してパイプラインを編集します。 モードを切り替えるには、パイプライン エディターの上部にあるボタン (ウィザード、 YAML、 JSON) を使用します。

パイプライン構成に ウィザード でサポートされていないフィールドが含まれている場合、ウィザード エディターは使用できない可能性があります。 これは、宣言型オートメーション バンドルまたは Databricks CLI を使用してパイプラインが作成または更新されるときに発生する可能性があります。 トラブルシューティングの手順については、「 マネージド インジェスト パイプラインのトラブルシューティング」を参照してください。

取り込むテーブルの名前を変更できますか?

はい。Azure Databricks UI または Databricks API を使用して、変換先テーブルの名前を設定できます。 「 宛先テーブルに名前を付けます」を参照してください。 名前を設定しない場合は、既定でソース テーブル名が使用されます。

次の更新プログラムの実行がスケジュールされている (更新プログラム N+1) ときに、パイプラインがまだ実行されている (更新 N) 場合はどうなりますか?

Databricks は更新プログラム N+1 をスキップし、更新プログラム N+2 を取得します。これは、更新 N が時間内に完了したと仮定します。

インジェスト パイプラインが削除されると、宛先テーブルはどうなりますか?

インジェスト パイプラインが削除されると、ターゲット テーブルが削除されます。

ALTERを使用して、マネージド インジェスト パイプラインによって作成されたストリーミング テーブルまたは具体化されたビューを変更できますか?

はい。次の ALTER SQL ステートメントを使用して、マネージド インジェスト パイプラインによって作成されたストリーミング テーブルと具体化されたビューを変更できます。

ALTER MATERIALIZED VIEW view_name | ALTER STREAMING TABLE table_name
{
    ALTER COLUMN column_clause |
    SET ROW FILTER clause |
    DROP ROW FILTER |
    SET TAGS clause |
    UNSET TAGS clause
}

column_clause
{
    column_identifier
    COMMENT clause |
    SET MASK clause |
    DROP MASK |
    SET TAGS clause |
    UNSET TAGS clause
}

完全な構文と例については、 ALTER STREAMING TABLE と ALTER MATERIALIZED VIEWを参照してください。

注

ALTER ステートメントを使用して、マネージド インジェスト パイプラインのスケジュールまたはトリガーを変更することはできません。 「パイプライン スケジュールの更新」を参照してください。

マネージド コネクタの価格はどのように設定されますか?

マネージド コネクタには、コンピューティングベースの価格モデルがあります。

サーバーレス インフラストラクチャでのみ実行される Salesforce や Workday などの SaaS ソースでは、サーバーレス Lakeflow パイプラインの DBU 料金が発生します。

SQL Serverなどのデータベース ソースの場合、インジェスト ゲートウェイはソースに応じてクラシック モードまたはサーバーレス モードで実行でき、インジェスト パイプラインはサーバーレスで実行されます。 その結果、クラシックとサーバーレスの両方の Lakeflow パイプライン DBU 料金を受け取ることができます。

レートの詳細については、 Lakeflow パイプラインの価格に関するページを参照してください。

インジェスト ゲートウェイはサーバーレスのみのワークスペースで実行できますか?

いいえ。 ゲートウェイにはクラシック コンピューティングが必要であり、クラシック コンピューティングをサポートしていないワークスペースにデプロイすることはできません。 これは、データベース (CDC) コネクタにのみ適用されます。

ターゲット テーブルで Delta Lake 変更データ フィードを有効にすることはできますか?

これは、すべてのターゲット テーブルで有効になります。

行フィルターは、初期読み込み後に変更される行またはクエリをどのように処理しますか?

行のフィルター処理の動作は、最初の読み込み後に行またはフィルター クエリが更新されるかどうかによって異なります。 エッジ ケース シナリオの概要については、エッジ ケースでの行フィルター処理の動作に関するページを参照してください。

コネクタ固有の FAQ

コネクタ固有の FAQ については、コネクタのドキュメントを参照してください。

  • Last updated on