注
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、サポート 終了と有効期限の履歴を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。
Databricks Runtime 10.5 for Machine Learning では、Databricks Runtime 10.5 (EoS) に基づく Machine Learning とデータ サイエンス向けのすぐに使用できる環境が提供されます。 Databricks Runtime ML には、TensorFlow、PyTorch、XGBoost など、多くの一般的な機械学習ライブラリが含まれています。 Databricks Runtime ML には、機械学習パイプラインを自動的にトレーニングするツールである AutoML が含まれています。 また、Databricks Runtime ML では、Horovod を使用した分散型ディープ ラーニング トレーニングもサポートされます。
Databricks Runtime ML クラスターを作成する手順など、詳細については、Azure Databricks の
新機能と機能強化
Databricks Runtime 10.5 ML は Databricks Runtime 10.5 上に構築されています。 Apache Spark MLlib や SparkR など、Databricks Runtime 10.5 の新機能については、 Databricks Runtime 10.5 (EoS) のリリース ノートを参照してください。
AutoML の機能強化
AutoML に対して、次の機能強化が行われました。
- メモリ使用量の向上により、AutoML では大規模なデータセットでトレーニングできます。
- AutoML 予測を使用すると、API を使用して、最適なモデルの予測をテーブルにエクスポートできるようになりました。
output_databaseを指定した場合、AutoML では最適なモデルの予測は、指定したデータベースの新しいテーブルに保存されます。output_databaseが指定されていない場合、予測は保存されません。
Databricks Feature Store の機能強化
Databricks Feature Store に対して次の機能強化が行われました。
-
drop_tableAPI を使用して、既存の特徴テーブルを削除できるようになりました。 このアクションでは、基になる Delta テーブルも削除されます。 - Feature Engineering Python API を使用して、フィーチャ テーブルの作成時または登録時にタグを追加したり、既存のフィーチャ テーブルにタグを追加、更新、削除、または読み取ったりできるようになりました。
システム環境
Databricks Runtime 10.5 ML のシステム環境は、Databricks Runtime 10.5 とは次のように異なります。
-
DBUtils: Databricks Runtime ML には、ライブラリ ユーティリティ (dbutils.library) (レガシ) は含まれません。
代わりに
%pipコマンドを使用してください。 「NotebookスコープのPythonライブラリ」を参照。 - GPU クラスターの場合、Databricks Runtime ML には次の NVIDIA GPU ライブラリが含まれています。
- CUDA 11.0
- cuDNN 8.0.5.39
- NCCL 2.10.3
- TensorRT 7.2.2
ライブラリ
以下のセクションでは、Databricks Runtime 10.5 に含まれているものとは異なる、Databricks Runtime 10.5 ML に含まれるライブラリ一覧を示します。
このセクションの内容は次のとおりです。
最上位層ライブラリ
Databricks Runtime 10.5 ML には、次の最上位層ライブラリが含まれています。
- GraphFrames
- Horovod と HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
Python ライブラリ
Databricks Runtime 10.5 ML では、Python パッケージ管理に Virtualenv が使用され、多くの一般的な ML パッケージが含まれています。
以下のセクションで指定されているパッケージに加えて、Databricks Runtime 10.5 ML には次のパッケージも含まれています。
- hyperopt 0.2.7.db1
- sparkdl 2.2.0-db6
- feature_store 0.4.1
- automl 1.8.0
CPUクラスター上のPythonライブラリ
| 図書館 | バージョン | 図書館 | バージョン | 図書館 | バージョン |
|---|---|---|---|---|---|
| absl-py | 0.11.0 | Antergos Linux | 2015年10月 (ISO-Rolling) | アプリケーションディレクトリ (appdirs) | 1.4.4 |
| argon2-cffi | 20.1.0 | アスター | 0.8.1 | astunparse | 1.6.3 |
| async-generator | 1.10 | attrs | 20.3.0 | backcall | 0.2.0 |
| bcrypt | 3.2.0 | bidict | 0.21.4 | 漂白剤 | 3.3.0 |
| ブリス | 0.7.7 | boto3 | 1.16.7 | botocore | 1.19.7 |
| キャッシュツールズ (cachetools) | 4.2.4 | カタログ | 2.0.7 | サーティフィ | 2020.12.5 |
| cffi (CコードをPythonで呼び出すためのライブラリ) | 1.14.5 | チャーデット | 4.0.0 | クリック | 7.1.2 |
| クラウドピックル | 1.6.0 | cmdstanpy | 0.9.68 | configparser (コンフィグパーサー) | 5.0.1 |
| convertdate | 2.4.0 | 暗号 | 3.4.7 | サイクリスト | 0.10.0 |
| サイメム | 2.0.6 | Cython | 0.29.23 | databricks-automl-runtime（データブリックス・オートエムエル・ランタイム） | 0.2.7 |
| databricks-cli | 0.16.4 | dbl-tempo | 0.1.2 | dbus-python | 1.2.16 |
| デコレータ | 5.0.6 | デフューズドXML (defusedxml) | 0.7.1 | ディル | 0.3.2 |
| ディスクキャッシュ | 5.4.0 | distlib | 0.3.4 | ディストリビューション情報 | 0.23ubuntu1 |
| 入口点 | 0.3 | エフェム | 4.1.3 | ファセット概要 | 1.0.0 |
| fasttext（ファーストテキスト） | 0.9.2 | ファイルロック | 3.0.12 | Flask | 1.1.2 |
| フラットバッファーズ | 2.0 | fsspec | 0.9.0 | 未来 | 0.18.2 |
| ガスト | 0.4.0 | ギットディービー | 4.0.9 | GitPython | 3.1.12 |
| google-auth（Google認証） | 1.22.1 | google-auth-oauthlib | 0.4.2 | グーグルパスタ | 0.2.0 |
| grpcio | 1.39.0 | ガニーコーン (gunicorn) | 20.0.4 | gviz-api | 1.10.0 |
| h5py | 3.1.0 | ヒジュリ変換器 | 2.2.3 | holidays | 0.13 |
| ホロヴォド | 0.23.0 | htmlmin | 0.1.12 | huggingface-hub | 0.5.1 |
| idna | 2.10 | イメージハッシュ (ImageHash) | 4.2.1 | imbalanced-learn（不均衡データに対応するための機械学習ライブラリ） | 0.8.1 |
| importlib-metadata | 3.10.0 | ipykernel | 5.3.4 | ipython | 7.22.0 |
| ipython-genutils (IPython用のユーティリティ) | 0.2.0 | ipywidgets | 7.6.3 | アイソデート | 0.6.0 |
| itsdangerous（イッツデンジャラス） | 1.1.0 | ジェダイ | 0.17.2 | ジンジャ2 | 2.11.3 |
| jmespath | 0.10.0 | 「joblib」 | 1.0.1 | ジョブリブスパーク | 0.3.0 |
| JSONスキーマ | 3.2.0 | ジュピタークライアント | 6.1.12 | ジュピター・コア | 4.7.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab ウィジェット | 1.0.0 | keras | 2.8.0 |
| Keras-Preprocessing | 1.1.2 | キウィソルバー | 1.3.1 | コアラ | 1.8.2 |
| 韓国陰暦 | 0.2.1 | 言語コード | 3.3.0 | libclang | 13.0.0 |
| lightgbm | 3.3.2 | llvmlite | 0.38.0 | LunarCalendar | 0.0.9 |
| Mako | 1.1.3 | Markdown | 3.3.3 | MarkupSafe | 2.0.1 |
| matplotlib | 3.4.2 | missingno | 0.5.1 | mistune | 0.8.4 |
| mleap | 0.18.1 | mlflow-skinny | 1.24.0 | マルチメソッド | 1.8 |
| マーマーハッシュ (murmurhash) | 1.0.6 | nbclient（エヌビー・クライアント） | 0.5.3 | nbconvert | 6.0.7 |
| nbフォーマット | 5.1.3 | nest-asyncio（ネスト・アサインキオ） | 1.5.1 | networkx | 2.5 |
| nltk | 3.6.1 | ノートブック | 6.3.0 | ナンバ | 0.55.1 |
| NumPy (数値計算ライブラリ) | 1.20.1 | oauthlib | 3.1.0 | opt-einsum | 3.3.0 |
| パッケージング | 21.3 | パンダ | 1.2.4 | pandas-profiling（パンダスプロファイリング） | 3.1.0 |
| パンドックフィルターズ | 1.4.3 | paramiko | 2.7.2 | パルソ | 0.7.0 |
| pathy | 0.6.1 | パッツィ | 0.5.1 | petastorm | 0.11.4 |
| pexpect | 4.8.0 | フィック | 0.12.2 | ピクルシェア | 0.7.5 |
| 枕 | 8.2.0 | pip | 21.0.1 | plotly | 5.6.0 |
| pmdarima | 1.8.5 | preshed | 3.0.6 | prometheus-クライアント | 0.10.1 |
| prompt-toolkit（プロンプトツールキット） | 3.0.17 | 預言者 | 1.0.1 | プロトバフ | 3.17.2 |
| psutil | 5.8.0 | psycopg2 | 2.8.5 | ptyprocess | 0.7.0 |
| pyarrow (パイアロー) | 4.0.0 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.9.2 | pycparser（パイシーパーサー） | 2.20 | pydantic | 1.8.2 |
| パイグメンツ | 2.8.1 | PyGObject | 3.36.0 | PyMeeus | 0.5.11 |
| PyNaCl | 1.5.0 | pyodbc | 4.0.30 | パイパーシング (Pyparsing) | 2.4.7 |
| pyrsistent | 0.17.3 | pystan | 2.19.1.1 | python-apt | 2.0.0+ubuntu0.20.4.7 |
| python-dateutil (Python用の日付処理ライブラリ) | 2.8.1 | パイソンエディター | 1.0.4 | python-engineio | 4.3.0 |
| python-socketio | 5.4.1 | pytz | 2020.5 | PyWavelets | 1.1.1 |
| PyYAML | 5.4.1 | pyzmq | 20.0.0 | RegEx | 2021.4.4 |
| リクエスト | 2.25.1 | requests-oauthlib | 1.3.0 | requests-unixsocket | 0.2.0 |
| RSA（アールエスエー） | 4.8 | s3transfer | 0.3.7 | sacremoses | 0.0.49 |
| scikit-learn（サイキット・ラーン） | 0.24.1 | scipy | 1.6.2 | seaborn（シーボーン） | 0.11.1 |
| Send2Trash(センド2トラッシュ) | 1.5.0 | setuptools（セットアップツール） | 52.0.0 | setuptools-git | 1.2 |
| shap | 0.40.0 | simplejson | 3.17.2 | 6 | 1.15.0 |
| スライサー | 0.0.7 | スマートオープン | 5.2.1 | smmap | 3.0.5 |
| spacy | 3.2.3 | spacy-legacy | 3.0.9 | スペーシー・ロガーズ | 1.0.2 |
| spark-tensorflow-distributor | 1.0.0 | sqlparse | 0.4.1 | srsly | 2.4.3 |
| ssh-import-id | 5.10 | statsmodels（スタッツモデルズ） | 0.12.2 | tabulate | 0.8.7 |
| 「tangled」-up-in-ユニコード | 0.1.0 | 粘り強さ | 6.2.0 | TensorBoard | 2.8.0 |
| テンソルボード・データサーバー | 0.6.1 | tensorboard-plugin-profile | 2.5.0 | テンソルボードプラグイン-WIT | 1.8.1 |
| tensorflow-cpu | 2.8.0 | tensorflow-estimator | 2.8.0 | tensorflow-io-gcs-filesystem | 0.24.0 |
| termcolor | 1.1.0 | 終了しました | 0.9.4 | テストパス (testpath) | 0.4.4 |
| tf-estimator-nightly | 2.8.0.dev2021122109 | thinc | 8.0.15 | threadpoolctl | 2.1.0 |
| トークナイザー | 0.12.1 | 電灯 | 1.10.2 + cpu | torchvision | 0.11.3+ cpu |
| 竜巻 | 6.1 | tqdm | 4.59.0 | traitlets（トレイトレット） | 5.0.5 |
| トランスフォーマー | 4.17.0 | typer | 0.4.1 | typing-extensions | 3.7.4.3 |
| ujson | 4.0.2 | unattended-upgrades | 0.1 | urllib3 | 1.25.11 |
| virtualenv | 20.4.1 | ビジョン | 0.7.4 | わさび | 0.9.1 |
| wcwidth（文字の幅を測定するプログラム関数） | 0.2.5 | ウェブエンコーディングス | 0.5.1 | websocket-client (ウェブソケット・クライアント) | 0.57.0 |
| Werkzeug | 1.0.1 | ホイール | 0.36.2 | widgetsnbextension | 3.5.1 |
| wrapt | 1.12.1 | xgboost | 1.5.2 | ジップ | 3.4.1 |
GPU クラスター上のPython ライブラリ
| 図書館 | バージョン | 図書館 | バージョン | 図書館 | バージョン |
|---|---|---|---|---|---|
| absl-py | 0.11.0 | Antergos Linux | 2015年10月 (ISO-Rolling) | アプリケーションディレクトリ (appdirs) | 1.4.4 |
| argon2-cffi | 20.1.0 | アスター | 0.8.1 | astunparse | 1.6.3 |
| async-generator | 1.10 | attrs | 20.3.0 | backcall | 0.2.0 |
| bcrypt | 3.2.0 | bidict | 0.21.4 | 漂白剤 | 3.3.0 |
| ブリス | 0.7.7 | boto3 | 1.16.7 | botocore | 1.19.7 |
| キャッシュツールズ (cachetools) | 4.2.4 | カタログ | 2.0.7 | サーティフィ | 2020.12.5 |
| cffi (CコードをPythonで呼び出すためのライブラリ) | 1.14.5 | チャーデット | 4.0.0 | クリック | 7.1.2 |
| クラウドピックル | 1.6.0 | cmdstanpy | 0.9.68 | configparser (コンフィグパーサー) | 5.0.1 |
| convertdate | 2.4.0 | 暗号 | 3.4.7 | サイクリスト | 0.10.0 |
| サイメム | 2.0.6 | Cython | 0.29.23 | databricks-automl-runtime（データブリックス・オートエムエル・ランタイム） | 0.2.7 |
| databricks-cli | 0.16.4 | dbl-tempo | 0.1.2 | dbus-python | 1.2.16 |
| デコレータ | 5.0.6 | デフューズドXML (defusedxml) | 0.7.1 | ディル | 0.3.2 |
| ディスクキャッシュ | 5.4.0 | distlib | 0.3.4 | ディストリビューション情報 | 0.23ubuntu1 |
| 入口点 | 0.3 | エフェム | 4.1.3 | ファセット概要 | 1.0.0 |
| fasttext（ファーストテキスト） | 0.9.2 | ファイルロック | 3.0.12 | Flask | 1.1.2 |
| フラットバッファーズ | 2.0 | fsspec | 0.9.0 | 未来 | 0.18.2 |
| ガスト | 0.4.0 | ギットディービー | 4.0.9 | GitPython | 3.1.12 |
| google-auth（Google認証） | 1.22.1 | google-auth-oauthlib | 0.4.2 | グーグルパスタ | 0.2.0 |
| grpcio | 1.39.0 | ガニーコーン (gunicorn) | 20.0.4 | gviz-api | 1.10.0 |
| h5py | 3.1.0 | ヒジュリ変換器 | 2.2.3 | holidays | 0.13 |
| ホロヴォド | 0.23.0 | htmlmin | 0.1.12 | huggingface-hub | 0.5.1 |
| idna | 2.10 | イメージハッシュ (ImageHash) | 4.2.1 | imbalanced-learn（不均衡データに対応するための機械学習ライブラリ） | 0.8.1 |
| importlib-metadata | 3.10.0 | ipykernel | 5.3.4 | ipython | 7.22.0 |
| ipython-genutils (IPython用のユーティリティ) | 0.2.0 | ipywidgets | 7.6.3 | アイソデート | 0.6.0 |
| itsdangerous（イッツデンジャラス） | 1.1.0 | ジェダイ | 0.17.2 | ジンジャ2 | 2.11.3 |
| jmespath | 0.10.0 | 「joblib」 | 1.0.1 | ジョブリブスパーク | 0.3.0 |
| JSONスキーマ | 3.2.0 | ジュピタークライアント | 6.1.12 | ジュピター・コア | 4.7.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab ウィジェット | 1.0.0 | keras | 2.8.0 |
| Keras-Preprocessing | 1.1.2 | キウィソルバー | 1.3.1 | コアラ | 1.8.2 |
| 韓国陰暦 | 0.2.1 | 言語コード | 3.3.0 | libclang | 13.0.0 |
| lightgbm | 3.3.2 | llvmlite | 0.38.0 | LunarCalendar | 0.0.9 |
| Mako | 1.1.3 | Markdown | 3.3.3 | MarkupSafe | 2.0.1 |
| matplotlib | 3.4.2 | missingno | 0.5.1 | mistune | 0.8.4 |
| mleap | 0.18.1 | mlflow-skinny | 1.24.0 | マルチメソッド | 1.8 |
| マーマーハッシュ (murmurhash) | 1.0.6 | nbclient（エヌビー・クライアント） | 0.5.3 | nbconvert | 6.0.7 |
| nbフォーマット | 5.1.3 | nest-asyncio（ネスト・アサインキオ） | 1.5.1 | networkx | 2.5 |
| nltk | 3.6.1 | ノートブック | 6.3.0 | ナンバ | 0.55.1 |
| NumPy (数値計算ライブラリ) | 1.20.1 | oauthlib | 3.1.0 | opt-einsum | 3.3.0 |
| パッケージング | 21.3 | パンダ | 1.2.4 | pandas-profiling（パンダスプロファイリング） | 3.1.0 |
| パンドックフィルターズ | 1.4.3 | paramiko | 2.7.2 | パルソ | 0.7.0 |
| pathy | 0.6.1 | パッツィ | 0.5.1 | petastorm | 0.11.4 |
| pexpect | 4.8.0 | フィック | 0.12.2 | ピクルシェア | 0.7.5 |
| 枕 | 8.2.0 | pip | 21.0.1 | plotly | 5.6.0 |
| pmdarima | 1.8.5 | preshed | 3.0.6 | prompt-toolkit（プロンプトツールキット） | 3.0.17 |
| 預言者 | 1.0.1 | プロトバフ | 3.17.2 | psutil | 5.8.0 |
| psycopg2 | 2.8.5 | ptyprocess | 0.7.0 | pyarrow (パイアロー) | 4.0.0 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pybind11 | 2.9.2 |
| pycparser（パイシーパーサー） | 2.20 | pydantic | 1.8.2 | パイグメンツ | 2.8.1 |
| PyGObject | 3.36.0 | PyMeeus | 0.5.11 | PyNaCl | 1.5.0 |
| pyodbc | 4.0.30 | パイパーシング (Pyparsing) | 2.4.7 | pyrsistent | 0.17.3 |
| pystan | 2.19.1.1 | python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil (Python用の日付処理ライブラリ) | 2.8.1 |
| パイソンエディター | 1.0.4 | python-engineio | 4.3.0 | python-socketio | 5.4.1 |
| pytz | 2020.5 | PyWavelets | 1.1.1 | PyYAML | 5.4.1 |
| pyzmq | 20.0.0 | RegEx | 2021.4.4 | リクエスト | 2.25.1 |
| requests-oauthlib | 1.3.0 | requests-unixsocket | 0.2.0 | RSA（アールエスエー） | 4.8 |
| s3transfer | 0.3.7 | sacremoses | 0.0.49 | scikit-learn（サイキット・ラーン） | 0.24.1 |
| scipy | 1.6.2 | seaborn（シーボーン） | 0.11.1 | Send2Trash(センド2トラッシュ) | 1.5.0 |
| setuptools（セットアップツール） | 52.0.0 | setuptools-git | 1.2 | shap | 0.40.0 |
| simplejson | 3.17.2 | 6 | 1.15.0 | スライサー | 0.0.7 |
| スマートオープン | 5.2.1 | smmap | 3.0.5 | spacy | 3.2.3 |
| spacy-legacy | 3.0.9 | スペーシー・ロガーズ | 1.0.2 | spark-tensorflow-distributor | 1.0.0 |
| sqlparse | 0.4.1 | srsly | 2.4.3 | ssh-import-id | 5.10 |
| statsmodels（スタッツモデルズ） | 0.12.2 | tabulate | 0.8.7 | 「tangled」-up-in-ユニコード | 0.1.0 |
| 粘り強さ | 6.2.0 | TensorBoard | 2.8.0 | テンソルボード・データサーバー | 0.6.1 |
| tensorboard-plugin-profile | 2.5.0 | テンソルボードプラグイン-WIT | 1.8.1 | テンソルフロー | 2.8.0 |
| tensorflow-estimator | 2.8.0 | tensorflow-io-gcs-filesystem | 0.24.0 | termcolor | 1.1.0 |
| 終了しました | 0.9.4 | テストパス (testpath) | 0.4.4 | tf-estimator-nightly | 2.8.0.dev2021122109 |
| thinc | 8.0.15 | threadpoolctl | 2.1.0 | トークナイザー | 0.12.1 |
| 電灯 | 1.10.2+cu113 | torchvision | 0.11.3+cu113 | 竜巻 | 6.1 |
| tqdm | 4.59.0 | traitlets（トレイトレット） | 5.0.5 | トランスフォーマー | 4.17.0 |
| typer | 0.4.1 | typing-extensions | 3.7.4.3 | ujson | 4.0.2 |
| unattended-upgrades | 0.1 | urllib3 | 1.25.11 | virtualenv | 20.4.1 |
| ビジョン | 0.7.4 | わさび | 0.9.1 | wcwidth（文字の幅を測定するプログラム関数） | 0.2.5 |
| ウェブエンコーディングス | 0.5.1 | websocket-client (ウェブソケット・クライアント) | 0.57.0 | Werkzeug | 1.0.1 |
| ホイール | 0.36.2 | widgetsnbextension | 3.5.1 | wrapt | 1.12.1 |
| xgboost | 1.5.2 | ジップ | 3.4.1 |
Python モジュールを含む Spark パッケージ
| Spark パッケージ | Python モジュール | バージョン |
|---|---|---|
| graphframes | graphframes | 0.8.2-db1-spark3.2 |
R ライブラリ
R ライブラリは、Databricks Runtime 10.5 の R ライブラリと同じです。
Javaおよび Scala ライブラリ (Scala 2.12 クラスター)
Databricks Runtime 10.5 のJavaライブラリと Scala ライブラリに加えて、Databricks Runtime 10.5 ML には次の JAR が含まれています。
CPU クラスター
| グループ識別子 | アーティファクト ID | バージョン |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.18.1-23eb1ef |
| ml.dmlc | xgboost4j-spark_2.12 | 1.5.2 |
| ml.dmlc | xgboost4j_2.12 | 1.5.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.24.0 |
| org.mlflow | mlflow-spark | 1.24.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU クラスター
| グループ識別子 | アーティファクト ID | バージョン |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.18.1-23eb1ef |
| ml.dmlc | xgboost4j-spark_2.12 | 1.5.2 |
| ml.dmlc | xgboost4j_2.12 | 1.5.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.24.0 |
| org.mlflow | mlflow-spark | 1.24.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
