DESCRIBE DETAILを使用して、Delta Lake または Apache Iceberg テーブルに関する詳細なメタデータ (ファイル数、データ サイズ、パーティション列、有効なテーブル機能など) を取得します。
例えば次が挙げられます。
DESCRIBE DETAIL '/data/events/'
DESCRIBE DETAIL eventsTable
Spark SQL 構文の詳細については、「DESCRIBE DETAIL
Scala、Java、Python 構文の詳細については、Delta Lake API ドキュメントを参照してください。
詳細スキーマ
Note
表示される列は、使用している Databricks Runtime のバージョンと、有効にしたテーブル機能によって異なります。
DESCRIBE DETAIL操作の出力には、次のスキーマを持つ行が 1 つだけ含まれます。
| Column | タイプ | Description |
|---|---|---|
format |
文字列 | テーブルの形式 ( delta や icebergなど)。 |
id |
文字列 | テーブルの一意の ID。 |
name |
文字列 | メタストアで定義されているテーブルの名前。 |
description |
文字列 | テーブルの説明。 |
location |
文字列 | テーブルの場所。 |
createdAt |
timestamp | テーブルが作成されたとき。 |
lastModified |
timestamp | テーブルが最後に変更されたとき。 |
partitionColumns |
文字列の配列 | テーブルがパーティション分割されている場合のパーティション列の名前。 |
numFiles |
long | 最新バージョンのテーブル内のファイルの数。 |
sizeInBytes |
int | テーブルの最新のスナップショットのサイズ (バイト単位)。 |
properties |
string-string マップ | このテーブルに設定されているすべてのプロパティ。 |
minReaderVersion |
int | テーブルを読み取ることができるリーダーの最小バージョン (ログ プロトコルに従います)。 |
minWriterVersion |
int | テーブルに書き込むことができるライターの最小バージョン (ログ プロトコルに従います)。 |
statistics |
文字列キーを使用してマップする | 追加のテーブルレベルの統計データ。 |
tableFeatures |
文字列の配列 | テーブルでサポートされているテーブル機能の一覧。 Delta Lake の機能の互換性とプロトコルに関する記事を参照してください。 |
clusteringColumns |
文字列の配列 | Liquid クラスターに使用されている列。 表に液体クラスタリングを使用するを参照してください。 |
出力例:
+------+--------------------+------------------+-----------+--------------------+--------------------+-------------------+----------------+--------+-----------+----------+----------------+----------------+
|format| id| name|description| location| createdAt| lastModified|partitionColumns|numFiles|sizeInBytes|properties|minReaderVersion|minWriterVersion|
+------+--------------------+------------------+-----------+--------------------+--------------------+-------------------+----------------+--------+-----------+----------+----------------+----------------+
| delta|d31f82d2-a69f-42e...|default.deltatable| null|file:/Users/tuor/...|2020-06-05 12:20:...|2020-06-05 12:20:20| []| 10| 12345| []| 1| 2|
+------+--------------------+------------------+-----------+--------------------+--------------------+-------------------+----------------+--------+-----------+----------+----------------+----------------+
