GitHub コネクタ

Important

この機能は ベータ版です。 ワークスペース管理者は、[ プレビュー] ページからこの機能へのアクセスを制御できます。 Manage Azure Databricks プレビューを参照してください。

Lakeflow Connect のマネージド GitHub コネクタを使用すると、GitHubからAzure Databricksにデータを取り込むことができます。

機能の可用性

特徴 Availability
UI ベースのパイプライン作成 「はい」チェック済み サポート
API ベースのパイプライン作成 「はい」チェック済み サポート
宣言型オートメーション バンドル 「はい」チェック済み サポート
増分インジェスト 部分的にサポートされています
一部のテーブルでは、増分インジェストがサポートされています。 その他のテーブルでは、完全な更新が必要です。 サポートされているデータを参照してください。
Unity Catalog(ユニティカタログ)のガバナンス 「はい」チェック済み サポート
Lakeflow ジョブ 「はい」チェック済み サポート
SCD タイプ 2 「はい」チェック済み サポート
列の選択と選択解除 「はい」チェック済み サポート
API ベースの行のフィルター処理 x mark no サポートされていません
スキーマの進化の自動化: 新しい列と削除された列 x mark no サポートされていません
スキーマの進化の自動化: データ型の変更 x mark no サポートされていません
スキーマの進化の自動化: 列の名前変更 x mark no サポートされていません
スキーマの進化の自動化: 新しいテーブル x mark no サポートされていません

認証方法

認証方法 Availability
OAuth U2M 「はい」チェック済み サポート
OAuth M2M x mark no サポートされていません
OAuth (手動更新トークン) x mark no サポートされていません
基本認証 (ユーザー名/パスワード) x mark no サポートされていません
基本認証 (API キー) x mark no サポートされていません
基本認証 (サービス アカウントの JSON キー) x mark no サポートされていません

開始する前に知っておくべきこと

トピック 共同作業の重要性
Azure Databricks ユーザーペルソナ ワークフローは、Azure Databricks ユーザーペルソナによって異なります。
  • シングル ユーザー: 管理者ユーザーが Unity カタログ接続とインジェスト パイプラインを作成します。
  • マルチユーザー: 管理者ユーザーは、管理者以外のユーザーがパイプラインを作成するための接続を作成します。
認証方法 接続を作成する手順は、選択した認証方法によって異なります。
インターフェイス パイプラインを作成する手順は、インターフェイスによって異なります。
インジェストの頻度 パイプライン のスケジュールは、待機時間とコストの要件によって異なります。
一般的なパターン インジェストのニーズに応じて、パイプラインで履歴の追跡、列の選択、行のフィルター処理などの構成が使用される場合があります。 サポートされる構成はコネクタによって異なります。 「 機能の可用性」を参照してください。

GitHub から取り込みを開始

次の表は、ユーザーの種類に基づいて、エンド ツー エンドのGitHub インジェスト フローをまとめたものです。

User Steps
管理者
  • Azure Databricksからの認証を有効にするようにGitHubを構成します。 GitHubインジェストについては、OAuth U2M の構成を参照してください。
  • Either:
    • カタログ エクスプローラーを使用してGitHubへの接続を作成し、管理者以外がパイプラインを作成できるようにします。 「GitHub接続を作成する」を参照>。
    • データ インジェスト UI を使用して、接続とパイプラインを同時に作成します。 GitHubを参照してください。
非管理者 サポートされているインターフェイスを使用して、既存の接続からパイプラインを作成します。 GitHubを参照してください。