このページは、Zerobus Ingest in Lakeflow Connectが提供する内容の概要です。 各特集は完全なドキュメントへのリンクがあります。
- 常時接続のエンドポイント:サーバーレス、デフォルトでオン、自動的にスケールします。
- メッセージブロック:入手方法と耐久性の確認方法。
- 確認応答コールバック: 確認応答やエラーを非同期に処理します。
-
デルタテーブルの特徴:分割、液体クラスタリング、
VARIANTデータ。 - レスキュー列:テーブルスキーマに合わないフィールドを拒否せずにキャプチャ。
- 永続的なフォールバック格納先: 発行できない場合にデータが格納される場所。
- 使用状況の監視:システムテーブルで使用量と支出を把握しましょう。
常時接続のエンドポイント
Zerobus Ingestは 、サポートされているリージョンのワークスペースでデフォルトでオンになっているサーバーレスエンドポイントです。 起動、プロビジョニング、スケーリングを行う必要はありません。 ターゲットテーブルとそれにアクセスできるサービスプリンシパルができれば、データのプッシュを始めることができ、ストリームを増やすごとに容量が自動的にスケールします。 始めるには「 Use Zerobus Ingest」をご覧ください。
デルタ表の特徴
Zerobus Ingestは標準のUnity Catalog管理Deltaテーブルに書き込みを行うため、取り込んだデータはDeltaテーブル機能と連携します。 ターゲットテーブルが満たすべき要件については 、「テーブル要件」を参照してください。
- パーティション分割テーブル: サポートされています（パーティション ファンアウト数の上限あり）。 Azure Databricks では、カーディナリティの高いキーに対してリキッド クラスタリングを推奨しています。 詳細は パーティションテーブルを参照してください。
- リキッドクラスタテーブル (ベータ):推奨レイアウトで、パーティションファンアウトの制限なしにクエリ性能のためのデータを整理します。 表に液体クラスタリングを使用するを参照してください。
-
バリアントデータ:半構造化データを
VARIANT列に取り込むこと。 「サポートされるデータ型」を参照してください。
耐久性のある後退位置
Zerobus Ingest がデータを永続化した後、かつそのデータをテーブルに公開する前に破壊的なテーブル変更が適用された場合、Zerobus Ingest はそのデータを破棄するのではなく、テーブルのストレージ場所内のフォールバック ディレクトリに Parquet ファイルとして書き込みます。 スキーマを修正した後にこのデータを見つけて再処理するには、「 耐久的なフォールバック場所からのデータを回復する」を参照してください。
使用状況の監視
システムテーブルを通じてZerobus Ingestの使用状況と支出を監視してください。 Zerobus Ingestシステムのテーブル参照を参照し、支出についてはコストの請求システムテーブルを参照してください。
