パイプラインの監視

組み込みのパイプライン UI、イベント ログ、クエリ履歴、カスタム イベント フックを使用して、Lakeflow パイプラインを監視します。 これらの機能は、更新の進行状況、データ品質、系列、ストリーミング メトリックを追跡します。

パイプライン監視は、一瞥から深いプログラムクエリまで、3つの層で機能します。

• Jobs & Pipelinesリストが最も速いチェックです。 直近5回の実行結果を各パイプラインの横にステータスインジケーターとして表示し、最近の実行が成功したか失敗したか、あるいはまだ実行中かを一目で確認できます。
• パイプライン監視UIは、ステータス、テーブルごとの行数、データ品質指標、更新履歴、選択した更新のストリーミングバックログ指標ごとに色分けされたパイプライングラフを表示します。 UIの「Monitor pipelines」を参照してください。
• イベントログは両方の下にある実在情報です。 これは構造化されたデルタテーブルで、更新結果、データ品質の傾向、リソース使用など、プログラム的または過去的なものを問い合わせます。 パイプライン イベント ログを参照してください。

パイプラインイベントのアラートを出すには、通知を設定してください。 パイプラインが独自のスケジュールで動作する際に直接通知を設定し、パイプラインがLakeflowジョブ内で動作する際に ジョブ通知 として設定できます。 パイプライン イベント の電子メール通知の追加を参照してください。

さらに、特定のシナリオに関するトラブルシューティングトピックもあります。