Important
この機能は ベータ版です。 ワークスペース管理者は、[ プレビュー] ページからこの機能へのアクセスを制御できます。 Manage Azure Databricks プレビューを参照してください。
Lakeflow Connect のマネージド GitHub コネクタを使用すると、GitHubからAzure Databricksにデータを取り込むことができます。
機能の可用性
| 特徴 | Availability |
|---|---|
| UI ベースのパイプライン作成 |
|
| API ベースのパイプライン作成 |
|
| 宣言型オートメーション バンドル |
|
| 増分インジェスト |
一部のテーブルでは、増分インジェストがサポートされています。 その他のテーブルでは、完全な更新が必要です。 サポートされているデータを参照してください。 |
| Unity Catalog(ユニティカタログ)のガバナンス |
|
| Lakeflow ジョブ |
|
| SCD タイプ 2 |
|
| 列の選択と選択解除 |
|
| API ベースの行のフィルター処理 |
|
| スキーマの進化の自動化: 新しい列と削除された列 |
|
| スキーマの進化の自動化: データ型の変更 |
|
| スキーマの進化の自動化: 列の名前変更 |
|
| スキーマの進化の自動化: 新しいテーブル |
|
認証方法
| 認証方法 | Availability |
|---|---|
| OAuth U2M |
|
| OAuth M2M |
|
| OAuth (手動更新トークン) |
|
| 基本認証 (ユーザー名/パスワード) |
|
| 基本認証 (API キー) |
|
| 基本認証 (サービス アカウントの JSON キー) |
|
開始する前に知っておくべきこと
| トピック | 共同作業の重要性 |
|---|---|
| Azure Databricks ユーザーペルソナ | ワークフローは、Azure Databricks ユーザーペルソナによって異なります。
|
| 認証方法 | 接続を作成する手順は、選択した認証方法によって異なります。 |
| インターフェイス | パイプラインを作成する手順は、インターフェイスによって異なります。 |
| インジェストの頻度 | パイプライン のスケジュールは、待機時間とコストの要件によって異なります。 |
| 一般的なパターン | インジェストのニーズに応じて、パイプラインで履歴の追跡、列の選択、行のフィルター処理などの構成が使用される場合があります。 サポートされる構成はコネクタによって異なります。 「 機能の可用性」を参照してください。 |
GitHub から取り込みを開始
次の表は、ユーザーの種類に基づいて、エンド ツー エンドのGitHub インジェスト フローをまとめたものです。
| User | Steps |
|---|---|
| 管理者 |
|
| 非管理者 | サポートされているインターフェイスを使用して、既存の接続からパイプラインを作成します。 |