Azure Databricks AI 機能

Azure Databricksは、AI アプリケーション (AI アプリ) を構築、評価、デプロイ、監視するためのプラットフォームを提供します。 エンタープライズ レベルの AI アプリの開発の課題に取り組む一連のツールをまとめます。 Azure Databricks は 、一般的なオープン ソース フレームワークと統合され、エンタープライズ レベルのガバナンス、可観測性、運用ツール (総称して LLMOps と呼ばれます) が追加されます。

このページでは、AI ワークフロー ステージ別に整理された、AI の主要な機能の一覧を示します。

AI に質問

Azure Databricksでは、Databricks でホストされる Foundation Models を通じて、トップ モデル プロバイダーの最先端の AI モデルをすぐに利用できるようになります。 また、外部プロバイダーやカスタム モデルのモデルに対してクエリを実行することもできます。 これらのモデルはすべて、UI、API/SDK、および SQL インターフェイスを使用してクエリを実行できます。 このオプションにより、すべてのユース ケース---一般的なチャット、複雑なエージェント、自動化されたデータ パイプライン、対話型データ分析などの AI を使用できます。

Method 特徴
UI
  • 開発のために、 AI Playground には、使用可能な AI モデルとエージェントにクエリを実行するための UI が用意されています。
  • テストでは、レビュー アプリを使用して、ドメインエキスパートによってエージェントと アプリのクエリと評価を行うことができます。
  • 運用環境では、組織内で使用するために Databricks Apps を使用して UI でアプリをホストできます。 外部アプリの場合は、 Databricks API を使用してユーザー向けのアプリに電源を供給できます。
API と SDK
  • Model Serving は、モデルとエージェントに対してクエリを実行するための REST API エンドポイントを提供します。
  • OpenAI クライアントや Databricks Python SDK など、 その他のクエリ オプション を参照してください。
SQL
  • AI 関数は、 モデルとエージェントのクエリを実行するためのタスク固有の汎用 SQL 関数を提供します。

AI を構築する

Azure Databricksには、AI アプリ、エージェント、ツール、モデルを構築するための柔軟なツール セットが用意されています。 これには UI とコードベースのフレームワークが含まれます。これらはすべて、データに基づいて AI システムを最適化できます。 任意のオープンソース AI フレームワークを利用でき、カスタム ツールと MCP サーバーを統合できます。

カテゴリ 特徴
Apps
エージェント
Tools
モデルとプロンプト
  • プロンプト エンジニアリングは、 AI Playground を使用して対話形式で行うか、 MLflow Prompt Optimization を使用したデータドリブン最適化を使用して行うことができます。
  • AI ランタイムを使用してモデルを微調整します。

データの準備と提供

Azure Databricks は、従来のデータと AI ワークロードのガバナンスを統合することで、AI のデータを簡素化します。 すべてのデータがきめ細かなアクセス制御を使用して Unity Catalog で管理されるため、組織に合わせてデータ エンジニアリングと AI の境界を簡単に調整できます。 データは、Lakeflow パイプラインなどの任意のデータ エンジニアリング ツールを使用して AI 用に準備できます。 Unity カタログのテーブルは、非構造化データのベクター インデックスまたは構造化データの特徴テーブルを使用して、AI に提供できます。

データの種類 特徴
非構造化 (テキスト、画像など)
  • AI Search では、セマンティック検索またはハイブリッド検索のためにナレッジ ベースのインデックスが自動的に大規模に作成されます。
構造化 (表)
  • サーバーレス SQL を使用すると、分析や変換のために、テーブルと SQL クエリを AI アプリに統合できます。
  • Genie エージェント は、マルチエージェント システムで使用して、構造化データに関する自然言語クエリに応答できます。
  • オンライン機能ストアは、 AI アプリにリアルタイムの機能アクセスを提供します。

AI をデプロイして提供する

Azure Databricksでは、Databricks Apps によってサポートされる AI アプリ、エージェント、モデル向けの運用対応のサービス システムが提供されます。 これらのスケーラブルなデプロイは、リアルタイムサービスと バッチ推論の両方に使用できます。 すべてのデプロイは可観測性と評価および監視ツールと統合されます。

開発フレームワーク デプロイとサービング
Databricks アプリ アプリとエージェントは、 UI ベースと API ベースのデプロイを提供する Databricks Apps を使用してデプロイできます。
ナレッジアシスタント Knowledge Assistant は、 モデル サービス エンドポイントへのエージェントのデプロイを自動化します。

AI のトレース、評価、監視

Azure Databricksは、AI の可観測性、評価、監視のためのマネージド MLflow を提供します。 オープン ソース API を使用すると、統合と移植性が簡単になりますが、マネージド サービスでは運用対応のエンドポイントが提供されます。 Databricks で管理される MLflow は、Databricks でホストされ、他の場所でホストされている AI アプリとエージェントに使用できます。

カテゴリ 特徴
トレースと可観測性
  • MLflow Tracing を使用すると、AI エージェントとアプリをインストルメント化して、評価、運用監視、監査のためのテレメトリと可観測データを収集できます。
Evaluation
モニタリング
  • 運用環境の監視 では、開発時の評価と同じジャッジとスコアラーを使用して、生産トレースの品質を測定できます。
人間のフィードバック

LLMOps

Azure Databricksには、AI 運用用の完全なツール スイート 、つまり "LLMOps" が用意されています。Unity カタログに基づくデータと AI 資産の統合されたガバナンスにより、組織全体での AI のデプロイが簡素化され、セキュリティで保護されます。 AI Gateway は、多くの AI モデル プロバイダーからのモデルの管理を簡素化します。 MLflow および宣言型オートメーション バンドルは、堅牢な LLMOps プロセスを実装するためのバージョン管理とコードとしてのインフラストラクチャを提供します。

カテゴリ 特徴
データと AI 資産のガバナンス Unity Catalog は、データと AI 資産の統合されたガバナンスを提供します。 データ資産には、ファイル、テーブル、ベクター インデックス、および機能ストアが含まれます。 AI 資産には、MCP サーバーやその他の API のモデル、ツール、接続が含まれます。
エンドポイント ガバナンスのモデル化 AI Gateway は、AI モデル エンドポイントの中央ガバナンスと監視を提供します。
プロンプトのバージョン管理 MLflow は、 プロンプト レジストリと実験追跡を提供します。
コードとしてのインフラストラクチャ Databricks Assets バンドルの上に構築された MLOps Stacks は、コードベースの管理とインフラストラクチャとワークフローのデプロイを提供します。

オープン ソースのサポート

Azure Databricksは、急速に成長する AI 用のオープンソース エコシステムを完全にサポートします。

開発では、任意のオープンソース フレームワークを使用し、 Databricks Apps を使用してデプロイできます。 Databricks サービスは、 MCP サーバー または REST API または SDK を使用して、サードパーティの AI ツールとアプリで使用できます。

監視、評価、監視のために、 MLflow Tracing は 20 以上のオープンソース AI フレームワークにネイティブ自動ログを提供し、他のフレームワークやコードにカスタム トレースを追加できます。 その後、 MLflow の評価と運用の監視でトレースを使用できます。 トレースは OpenTelemetry トレース スペックに 従い、サードパーティのツールにエクスポートできます。

その他のリソース

  • Last updated on