Gmailコネクタの制限

このページでは、Databricks Lakeflow Connectを使ってGmailからデータを取り込む際の制限事項や注意点を記載しています。

SaaS コネクタの一般的な制限事項

このセクションの制限は、Lakeflow Connect のすべての SaaS コネクタに適用されます。

• スケジュールされたパイプラインを実行すると、アラートはすぐにトリガーされません。 代わりに、次回の更新の実行時にトリガーされます。
• 取り込み元テーブルが削除されても、取り込み先テーブルが自動的に削除されることはありません。 取り込み先テーブルは手動で削除する必要があります。 この動作は、Lakeflow での Spark 宣言パイプラインの動作と一致しません。
• ソースのメンテナンス期間中は、Databricks がデータにアクセスできない場合があります。
• ソース テーブル名が既存の宛先テーブル名と競合する場合、パイプラインの更新は失敗します。
• 複数宛先パイプラインのサポートは API 専用です。
• 必要に応じて、取り込むテーブルの名前を変更できます。 パイプライン内のテーブルの名前を変更すると、そのテーブルは API 専用パイプラインになり、UI でパイプラインを編集できなくなります。
• パイプラインが既に開始された後で列を選択した場合、コネクタは新しい列のデータを自動的にバックフィルしません。 履歴データを取り込むには、テーブルに対して完全な更新を手動で実行します。
• Databricks は、異なるソース スキーマから取得された場合でも、同じパイプライン内で同じ名前の 2 つ以上のテーブルを取り込むことはありません。
• ソース システムでは、カーソル列が単調に増加していることを前提としています。
• コネクタは、変換なしで生データを取り込みます。 変換には、Lakeflow パイプラインでダウンストリーム Spark 宣言パイプラインを使用します。

コネクタ固有

このセクションの制限はGmailコネクタに特有のものです。

• profile、labels、labels_details、drafts、filtersテーブルはフルリフレッシュのみです。 パイプラインの実行ごとに完全に再取り込みされ、インセクティブ同期はされません。
• messagesテーブルとmessage_labelsテーブルのみが、historyIdカーソルをキーにしたGmail履歴APIを使ってインクリメント同期を行います。
• messagesテーブルおよびmessage_labelsテーブルはSCDタイプ2の履歴追跡をサポートしていません。これらのテーブルにSCDタイプ2を設定すると、パイプライン検証が失敗します。
• Gmailが保存された historyId を期限切れにすると(履歴APIはカーソルがGmailの保持ウィンドウより古いため404を返します)、コネクターは自動的に影響を受けたテーブルのフルリフレッシュにフォールバックします。
• Gmailは履歴を約7日間だけ保持します。 Databricksは、パイプラインを少なくとも7日に1回は稼働させることを推奨しています。 パイプラインの実行頻度が低くなると、保存された historyId が期限切れになり、 messages と message_labelsの完全な更新が強制されることがあります。
• 各接続は単一のメールボックスを取り込みます。 複数のメールボックスを取り込むには、各メールボックスごとに別々の接続とパイプラインを作成します。 郵便受けの値は各行に mailbox 列としてスタンプが押されます。
• messages payloadMIME構造は最大8段階のネスティングに具現化されています。 より深く入れ子された部分は構造カラムに拡張されません。
• コネクターは読み取り専用で、 gmail.readonly スコープが必要です。 送信元のメールボックスを変更することはありません。