予測最適化システム テーブル参照

この記事では、予測最適化操作履歴テーブルのスキーマに関する概要について説明し、サンプル クエリを提供します。 予測最適化によってデータ レイアウトを最適化し、最高レベルのパフォーマンスとコスト効率を実現します。 システム テーブルは、この機能の操作履歴を追跡します。 予測最適化の詳細については、「 Unity カタログのマネージド テーブルの予測最適化」を参照してください。

テーブル パス: このシステム テーブルは、 system.storage.predictive_optimization_operations_historyにあります。

配信に関する考慮事項

• 予測最適化システム テーブルは、2 時間以内に更新されます。 ただし、課金情報がデータに入力されるまでに最大 24 時間かかる場合があります。
• 予測最適化では、同じクラスターで複数の操作が実行される場合があります。 その場合、各操作に起因する DBU のシェアが概算されます。 これが、usage_unit が ESTIMATED_DBU に設定されている理由です。 クラスターに使用される DBU の総数が正確であることに変わりはありません。

予測最適化 テーブルのスキーマ

予測最適化操作履歴システム テーブルでは、次のスキーマが使用されます。

操作メトリック

operation_metrics列に記録されるメトリックは、操作の種類によって異なります。

クエリの例

次のセクションには、予測最適化システム テーブルの分析情報を得るために使用できるサンプル クエリが含まれています。 これらのクエリを機能させるには、パラメーター値を独自の値に置き換える必要があります。

この記事には、次のクエリの例が含まれています。

• 過去 30 日間に予測最適化が使用された推定 DBU の数
• 予測最適化が過去 30 日間に最も多く費やしたテーブル (推定コスト) はどれですか?
• 予測最適化が最も多くの操作を実行しているテーブルはどれですか?
• 特定のカタログの場合、圧縮された合計バイト数はいくつですか?
• 最も多くのバイトがバキュームされたテーブルは何ですか?
• 予測最適化によって実行される操作の成功率は何ですか?

過去 30 日間に予測最適化が使用された DBU の推定数はいくつですか?

SELECT SUM(usage_quantity)
  FROM system.storage.predictive_optimization_operations_history
  WHERE
    usage_unit = "ESTIMATED_DBU"
    AND timestampdiff(day, start_time, Now()) < 30;

特定の ETL パイプラインで同じ値を検索するには、まずそのパイプライン内のテーブルを見つけてから、DBU を検索します。

-- Find all full table names for the pipeline:
WITH pipeline_mapping AS (
  SELECT DISTINCT target_table_full_name AS target_table_name
  FROM system.access.table_lineage
  WHERE entity_type = 'PIPELINE' AND entity_id = :pipeline_id
)
-- Select all operations for any table in that pipeline:
SELECT SUM(usage_quantity)
  FROM system.storage.predictive_optimization_operations_history
  WHERE
    CONCAT_WS('.', catalog_name, schema_name, table_name)
      IN ( SELECT target_table_name FROM pipeline_mapping)
    AND usage_unit = "ESTIMATED_DBU"
    AND timestampdiff(day, start_time, Now()) < 30;

過去 30 日間に予測最適化で最も多く使用されたテーブル (推定コスト) はどれですか?

SELECT
  metastore_name,
  catalog_name,
  schema_name,
  table_name,
  SUM(usage_quantity) as totalDbus
FROM system.storage.predictive_optimization_operations_history
WHERE
  usage_unit = "ESTIMATED_DBU"
  AND timestampdiff(day, start_time, Now()) < 30
GROUP BY ALL
ORDER BY totalDbus DESC;

予測最適化で最も多くの操作を実行しているテーブルはどれですか?

SELECT
  metastore_name,
  catalog_name,
  schema_name,
  table_name,
  operation_type,
  COUNT(DISTINCT operation_id) as operations
FROM system.storage.predictive_optimization_operations_history
GROUP BY ALL
ORDER BY operations DESC;

特定のカタログについて、圧縮された合計バイト数はいくつですか?

SELECT
  schema_name,
  table_name,
  SUM(operation_metrics["amount_of_data_compacted_bytes"]) as bytesCompacted
FROM system.storage.predictive_optimization_operations_history
WHERE
  metastore_name = :metastore_name
  AND catalog_name = :catalog_name
  AND operation_type = "COMPACTION"
GROUP BY ALL
ORDER BY bytesCompacted DESC;

最も多くのバイト数がバキューム処理されたテーブルはどれですか?

SELECT
  metastore_name,
  catalog_name,
  schema_name,
  table_name,
  SUM(operation_metrics["amount_of_data_deleted_bytes"]) as bytesVacuumed
FROM system.storage.predictive_optimization_operations_history
WHERE operation_type = "VACUUM"
GROUP BY ALL
ORDER BY bytesVacuumed DESC;

予測最適化によって実行される操作の成功率は何ですか?

WITH operation_counts AS (
  SELECT
    COUNT(DISTINCT (CASE WHEN operation_status = "SUCCESSFUL" THEN operation_id END)) as successes,
    COUNT(DISTINCT operation_id) as total_operations
  FROM system.storage.predictive_optimization_operations_history
 )
SELECT successes / total_operations as success_rate
FROM operation_counts;