テーブル履歴スキーマと運用指標

DESCRIBE HISTORYコマンドは、テーブル操作の歴史を記述するApache IcebergおよびDelta Lakeテーブルの14列を返します。 この参照を使って各列を解釈してください。

テーブル履歴の取得、以前のテーブルバージョンの照会、テーブルの復元に関するガイダンスについては、「 テーブル履歴の操作」を参照してください。

履歴スキーマ

history 操作の出力には、次の列があります。

+-------+-------------------+------+--------+---------+--------------------+----+--------+---------+-----------+-----------------+-------------+--------------------+
|version|          timestamp|userId|userName|operation| operationParameters| job|notebook|clusterId|readVersion|   isolationLevel|isBlindAppend|    operationMetrics|
+-------+-------------------+------+--------+---------+--------------------+----+--------+---------+-----------+-----------------+-------------+--------------------+
|      5|2019-07-29 14:07:47|   ###|     ###|   DELETE|[predicate -> ["(...|null|     ###|      ###|          4|WriteSerializable|        false|[numTotalRows -> ...|
|      4|2019-07-29 14:07:41|   ###|     ###|   UPDATE|[predicate -> (id...|null|     ###|      ###|          3|WriteSerializable|        false|[numTotalRows -> ...|
|      3|2019-07-29 14:07:29|   ###|     ###|   DELETE|[predicate -> ["(...|null|     ###|      ###|          2|WriteSerializable|        false|[numTotalRows -> ...|
|      2|2019-07-29 14:06:56|   ###|     ###|   UPDATE|[predicate -> (id...|null|     ###|      ###|          1|WriteSerializable|        false|[numTotalRows -> ...|
|      1|2019-07-29 14:04:31|   ###|     ###|   DELETE|[predicate -> ["(...|null|     ###|      ###|          0|WriteSerializable|        false|[numTotalRows -> ...|
|      0|2019-07-29 14:01:40|   ###|     ###|    WRITE|[mode -> ErrorIfE...|null|     ###|      ###|       null|WriteSerializable|         true|[numFiles -> 2, n...|
+-------+-------------------+------+--------+---------+--------------------+----+--------+---------+-----------+-----------------+-------------+--------------------+

操作パラメーターの理解partitionBy

テーブル履歴の partitionBy フィールドは、テーブルのパーティション スキーマを定義または変更する CREATE 操作と OVERWRITE 操作でのみ意味があります。

既存のテーブルへの追加操作 (APPEND、INSERT、UPDATE、DELETE、MERGE) の場合、このフィールドには、使用される書き込み方法 ([]と.save()) に応じて、空の配列.saveAsTable()またはパーティション列が表示される場合があります。

この不整合は予期される動作であり、パーティションへのデータの書き込み方法には影響しません。 追加操作の検証には使用しないでください。

例

date列でパーティション分割されたテーブルについて考えてみましょう。 テーブルを作成すると、 partitionBy が設定されます。

df.write.format("delta") \
  .partitionBy("date") \
  .saveAsTable("sales_data")

履歴の CREATE 操作には、次の情報が表示されます。

operationParameters: {
  "mode": "ErrorIfExists",
  "partitionBy": "[\"date\"]"
}

このテーブルにデータを追加すると、 partitionBy に空の配列が表示されます。

new_df.write.format("delta") \
  .mode("append") \
  .saveAsTable("sales_data")

APPEND 操作は次を示します。

operationParameters: {
  "mode": "Append",
  "partitionBy": "[]"
}

空の partitionBy 値が必要です。 データは、テーブルの既存のパーティション スキーマに基づいて正しいパーティションに書き込まれます。 パスに .save() すると、このフィールドにパーティション列が表示されることがありますが、この違いは実装の詳細であり、書き込み動作には影響しません。

操作メトリック

history操作はoperationMetrics列マップ上で一連の操作メトリクスを返します。

次の表は、マップのキー定義を操作別に示しています。

WRITE、CREATE TABLE AS SELECT、REPLACE TABLE AS SELECT、COPY INTO

これらの操作では、次のメトリックを使用できます。

STREAMING UPDATE

この操作では、次のメトリックを使用できます。

DELETE

この操作では、次のメトリックを使用できます。

TRUNCATE

この操作では、次のメトリックを使用できます。

MERGE

この操作では、次のメトリックを使用できます。

UPDATE

この操作では、次のメトリックを使用できます。

FSCK

この操作では、次のメトリックを使用できます。

CONVERT

この操作では、次のメトリックを使用できます。

OPTIMIZE

この操作では、次のメトリックを使用できます。

CLONE

この操作では、次のメトリックを使用できます。

RESTORE

この操作では、次のメトリックを使用できます。

VACUUM

この操作では、次のメトリックを使用できます。