Databricks で LLM のクエリを開始する

Important

この機能は ベータ版です。 アカウント管理者は、アカウント コンソール の [プレビュー ] ページからこの機能へのアクセスを制御できます。 Manage Azure Databricks プレビューを参照してください。

Unity AI Gatewayでモデルサービスを持つAzure Databricks上のLLMをクエリできます。

開始する最も簡単な方法は、でシステム提供のsystem.aiに対してクエリを実行することです。 システム提供のモデル サービスは、既定ですべてのアカウント ユーザーが使用できるため、追加のセットアップなしで要求の送信を開始できます。 Govern model API(モデルサービス)を参照してください。

AI Playground を使用して、これらのモデルをテストしてチャットすることもできます。 AI Playground を使用した LLM とのチャットと AI アプリのプロトタイプを参照してください。

Requirements

Important

運用シナリオのセキュリティのベスト プラクティスとして、Databricks では、運用時の認証にコンピューター間 OAuth トークンを使用することをお勧めします。

テストおよび開発の場合は、Databricks では、ワークスペース ユーザーではなく、サービス プリンシパルに属する個人用アクセス トークンを使用することをお勧めします。 サービス プリンシパルのトークンを作成するには、「サービス プリンシパルのトークンを管理する」をご覧ください。

モデル サービスの使用を開始する

以下の例はAzure Databricksノートブックで実行することを想定しています。 コード例は、Azure Databricksによってネイティブに提供されたシステム提供のモデルサービスsystem.ai.claude-sonnet-4-5を問い合わせています。 その他の利用可能なモデルについては、 モデルサービスを参照してください。

この例では、OpenAI クライアントを使用して、クエリを実行するモデル サービスの完全修飾名を model フィールドに入力して、モデルのクエリを実行します。 個人用アクセス トークンを使用して、 DATABRICKS_TOKEN と Databricks ワークスペース インスタンス を設定して、OpenAI クライアントを Databricks に接続します。

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get("DATABRICKS_TOKEN")

client = OpenAI(
  api_key=DATABRICKS_TOKEN, # your personal access token
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1", # your Databricks workspace instance
)

chat_completion = client.chat.completions.create(
  messages=[
    {
      "role": "system",
      "content": "You are an AI assistant",
    },
    {
      "role": "user",
      "content": "What is a mixture of experts model?",
    }
  ],
  model="system.ai.claude-sonnet-4-5",
  max_tokens=256
)

print(chat_completion.choices[0].message.content)

Note

メッセージ ImportError: cannot import name 'OpenAI' from 'openai' が表示された場合、openai を使用して !pip install -U openai バージョンをアップグレードします。 パッケージをインストールした後、dbutils.library.restartPython() を実行します。

予想される出力:


{
  "id": "xxxxxxxxxxxxx",
  "object": "chat.completion",
  "created": "xxxxxxxxx",
  "model": "system.ai.claude-sonnet-4-5",
  "choices": [
    {
      "index": 0,
      "message":
        {
          "role": "assistant",
          "content": "A Mixture of Experts (MoE) model is a machine learning technique that combines the predictions of multiple expert models to improve overall performance. Each expert model specializes in a specific subset of the data, and the MoE model uses a gating network to determine which expert to use for a given input."
        },
      "finish_reason": "stop"
    }
  ],
  "usage":
    {
      "prompt_tokens": 123,
      "completion_tokens": 23,
      "total_tokens": 146
    }
}

次のステップ

  • Last updated on