レイクハウス リプレイ

Lakehouse Replay は、運用環境に到達する前に、ワークスペースから読み取り専用ワークロードの小さなサブセットを今後のランタイム バージョンに対して自動的に再生することで、将来の Databricks Runtime リリースの品質と安定性を向上させます。 ワークロードが運用環境で成功したが、今後のランタイム バージョンで失敗した場合、Azure Databricksは、そのバージョンが出荷される前に回帰を識別して修正します。 これにより、セットアップ、構成、またはメンテナンスを必要とせず、ランタイムアップグレードの安全性が向上します。

Lakehouse Replay は、サーバーレス コンピューティングからのみワークロードをサンプリングしますが、それにキャッチされる回帰により、クラシックとサーバーレスの両方を含むすべての Databricks Runtime リリースが改善されます。 サーバーレスで実行することで、Azure Databricks はこのテストをマネージド コンピューティング上で実行できるため、リプレイ作業に対する料金がお客様に請求されることはありません。

Lakehouse Replay のしくみ

Lakehouse Replay では、シャドウ実行を使用して、今後のランタイム バージョンをテストします。

1. ワークロードは、通常どおり運用環境で実行されます。
2. Lakehouse Replay では、テスト用の安全な読み取り専用ワークロードの小さなサブセットが選択されます。
3. Lakehouse Replay は、今後のランタイム バージョンを実行しているAzure Databricksマネージド シャドウ コンピューティングで、選択したワークロードから Spark プランを再実行します。
4. ワークロードが運用環境で成功してもシャドウ コンピューティングで失敗した場合、Databricks はランタイム バージョンをリリースする前に回帰を調査して解決します。

シャドウ コンピューティングは、Azure Databricks ワークスペース内で完全に実行され、運用ワークロードやジョブには影響しません。

Lakehouse Replay で再生される内容

Lakehouse Replay を有効にすると、Azure Databricksによって、再生対象のワークロードが自動的に決定されます。

現在、Lakehouse Replay では、サーバーレス コンピューティング (サーバーレス SQL ウェアハウスとサーバーレス ノートブック、サーバーレス ジョブ) で実行され、Unity カタログ デルタ テーブルで読み取りを行う読み取り専用の SQL ワークロードと DataFrame ワークロードに重点を置いています。 追加のワークロードの種類のサポートが拡大しているため、カバレッジの拡大に合わせて、より多くのワークロードが自動的に再生されます。

DataFrame ワークロードの場合、Lakehouse Replay は、運用クラスターに送信された Spark プランのみを再生します。 前のPythonセルは実行されません。

データ セキュリティとプライバシー

Lakehouse Replay では、既存のデータ セキュリティとプライバシーの体制は変更されません。

• データのエクスポートなし: Lakehouse Replay では、実行状態とランタイム メトリックのみが比較され、不一致が検出されます。 クエリ結果の読み取り、エクスポート、格納は行われません。
• 同じアクセス許可で実行: 再生されたワークロードは、元の運用クエリと同じユーザー ID で実行され、再生時に Unity カタログのアクセス許可を尊重します。
• 分離実行: 再生に使用されるAzure Databricksシャドウ コンピューティングは運用コンピューティングから分離され、外部 API、データベース、またはその他のワークスペースにアクセスできません。

課金

Lakehouse Replay では、Databricks で管理されるサーバーレス コンピューティングを使用して再生が実行され、顧客は関連するコンピューティング コストに対して課金されません。 再生されたワークロードでは、再生されたワークロードが元のワークロードと同じアクセス許可とストレージ パスを使用してデータを読み取り、オブジェクト ストレージ API のコストが最小限に抑えられます。

監査ログ

Lakehouse Replay アクティビティは、 lakehouseReplay サービスの監査ログ システム テーブルに記録されます。 「Lakehouse Replay イベント」を参照してください。

よく寄せられる質問

• レイクハウスリプレイを使用するには何かする必要がありますか?
• Lakehouse Replay は運用環境のワークロードに影響しますか?
• ワークロードが再生されているかどうかを確認するにはどうすればよいですか?
• ワークロードはどのくらいの頻度で再生されますか?
• 再生されたワークロードが失敗した場合はどうなりますか?
• Lakehouse Replay で検出される回帰の種類は何ですか?

レイクハウスリプレイを使用するには何かする必要がありますか?

No. ワークスペースで有効にすると、Lakehouse Replay はセットアップ、構成、メンテナンスなしで自動的に実行されます。

Lakehouse Replay は運用環境のワークロードに影響しますか?

No. シャドウ コンピューティングは運用コンピューティングとは別に実行され、実行中のワークロード、ジョブ スケジュール、またはクエリのパフォーマンスには影響しません。

ワークロードが再生されているかどうかを確認するにはどうすればよいですか?

再生されたワークロードは、ジョブの実行履歴またはクエリ履歴には表示されません。 Lakehouse Replay アクティビティは、監査ログ システム テーブルで使用できます。

ワークロードはどのくらいの頻度で再生されますか?

サンプリング頻度は確率的であり、ワークスペースのトラフィックとワークロードの種類に基づきます。 ほとんどのワークロードは、元の実行から 1 時間以内に再生されます。

再生されたワークロードが失敗した場合はどうなりますか?

ワークロードがシャドウ コンピューティングで失敗しても運用環境で成功した場合は、Azure Databricks調査します。 Azure Databricks がその障害を回帰不具合であると確認した場合、Azure Databricks はランタイム バージョンをリリースする前にその問題を解決します。 Azure Databricksは、追加のコンテキストが必要でない限り、個々のエラーを通知しません。

Lakehouse Replay で検出される回帰の種類は何ですか?

Lakehouse Replay は実行エラーを検出します。 これらは、運用環境では成功するが、今後のランタイム バージョンでは失敗するワークロードです。