このページは、セットアップ アプローチを決定する要因や、さまざまなユーザー ペルソナに関連する手順など、SQL Server インジェスト ワークフローを理解するのに役立ちます。
標準 CDC と統合 CDC
SQL Serverでは、2 つのインジェスト アーキテクチャがサポートされています。 次の表では、それらを比較します。
| 特徴 | Standard CDC（ゲートウェイベース） | 統合型 CDC（ベータ） |
|---|---|---|
| パイプラインの数 | 2 (インジェスト ゲートウェイとインジェスト パイプライン) | 1 (統合パイプライン) |
| 設定 | ゲートウェイを作成し、ゲートウェイ ID を参照するインジェスト パイプラインを作成する | Unity カタログ接続を参照する単一のパイプラインを作成する |
| ゲートウェイ モード | ゲートウェイは常時動作します | パイプラインは、各更新プログラムに抽出を埋め込みます |
| 接続参照 | ingestion_gateway_id |
connection_name (Unity カタログ接続) |
| コネクタの種類 | 暗黙的 | 明示的: connector_type: CDC |
| ステージングボリューム | ゲートウェイは、ステージング ボリュームを内部的に管理します | ステージング ボリュームは、 data_staging_optionsを使用して構成します。 指定されていない場合、パイプラインによって自動的に作成されます。 |
同じソース データベース構成が両方のアーキテクチャに適用されます。 Azure DatabricksへのインジェストのためのMicrosoft SQL Serverの構成を参照してください。 詳細については、「SQL Server用の統合 CDC パイプラインを作成する」を参照してください。
機能の可用性
| 特徴 | Availability |
|---|---|
| UI ベースのパイプライン作成 |
サポート |
| API ベースのパイプライン作成 |
サポート |
| 宣言型オートメーション バンドル |
サポート |
| 増分インジェスト |
サポート |
| Unity Catalog（ユニティカタログ）のガバナンス |
サポート |
| Lakeflow ジョブによるオーケストレーション |
サポート |
| SCD タイプ 2 |
サポート |
| API ベースの列の選択と選択解除 |
サポート |
| API ベースの行のフィルター処理 |
サポートされていません |
| スキーマの進化の自動化: 新しい列と削除された列 |
サポート |
| スキーマの進化の自動化: データ型の変更 |
サポートされていません |
| スキーマの進化の自動化: 列の名前変更 |
サポートされていません 完全な更新が必要です。 |
| スキーマの進化の自動化: 新しいテーブル |
サポート スキーマ全体をインポートする場合。 パイプラインあたりのテーブル数に関する制限事項を参照してください。 |
| パイプラインあたりのテーブルの最大数 | 250 |
認証方法
| 認証方法 | Availability |
|---|---|
| OAuth U2M |
サポートされていません |
| OAuth M2M |
サポートされていません |
| OAuth (手動更新トークン) |
サポートされていません |
| 基本認証 (ユーザー名/パスワード) |
サポート |
| 基本認証 (API キー) |
サポートされていません |
| 基本認証 (サービス アカウントの JSON キー) |
サポートされていません |
開始する前に知っておくべきこと
| トピック | 重要な理由 |
|---|---|
| Azure Databricks ユーザーペルソナ | ワークフローは、Azure Databricks ユーザーペルソナによって異なります。
|
| データベースのバリエーション | ソース データベースの構成は、SQL Server のデプロイ環境によって異なります。 |
| 変更の追跡方法 | ソース データベースの構成は、ソースの変更を追跡する方法によって異なります。 |
| 認証方法 | 接続を作成する手順は、選択した認証方法によって異なります。 |
| インターフェイス | 接続、ゲートウェイ、およびパイプラインを作成する手順は、インターフェイスによって異なります。 |
| インジェストの頻度 | パイプライン のスケジュールは、待機時間とコストの要件によって異なります。 |
| 一般的なパターン | インジェストのニーズに応じて、パイプラインで履歴の追跡、列の選択、行のフィルター処理などの構成が使用される場合があります。 サポートされる構成はコネクタによって異なります。 「 機能の可用性」を参照してください。 |
SQL Server からの取り込みを開始する
次の表は、ユーザーの種類に基づくエンド ツー エンドの SQL Server インジェスト ワークフローの概要を示しています。
| ユーザー | Steps |
|---|---|
| 管理者 |
|
| 非管理者 | サポートされているインターフェイスを使用して、ゲートウェイとパイプラインを作成します。 「SQL Server からのデータの取り込み」を参照してください。 |
