見出し画像

AI Gatewayを理解するための基礎知識～LLM APIの基本

Mellow Launch

📚 参考書籍

※この記事は書籍の一部をベースに再構成しています。もう少し踏み込んだ内容（設計や具体例）は書籍の中でまとめているので、気になる方はそちらもどうぞ。

生成AIを試す段階から、組織で安全に使い続ける段階へ。
LLM・AIエージェント・MCPを個別に接続するのではなく、共通のGatewayを通じて管理するための基礎知識、設計、実装、運用を一冊で学べる実務入門書です。

ゼロから触ってわかった！AI Gateway入門 ― LiteLLMで学ぶ、LLM・AIエージェント・MCPを安全につなぐための基礎知識

2-1 LLM APIの基本

LLMをアプリケーションから利用する場合、一般的にはWeb画面を操作するのではなく、APIを通じてモデルへリクエストを送信します。

APIを利用すると、チャット、要約、文章生成、分類、情報抽出などの処理を、自社のアプリケーションや業務システムへ組み込めます。

LLM APIを理解するうえでは、エンドポイント、APIキー、モデル名、リクエスト、レスポンスという5つの要素が基本になります。

エンドポイントとは

エンドポイントとは、APIへリクエストを送るための接続先URLです。

アプリケーションは、指定されたエンドポイントへHTTPリクエストを送信します。LLMプロバイダーによってURLやAPIの形式は異なりますが、基本的な流れは共通しています。

例えば、チャット形式の文章生成では、次のような情報を送信します。

  • 使用するモデル

  • ユーザーからの質問

  • システムからの指示

  • 生成する文章量

  • 応答方法に関する設定

AI Gatewayを導入する場合、アプリケーションはLLMプロバイダーのエンドポイントではなく、Gatewayの共通エンドポイントへ接続します。

APIキーとは

APIキーは、APIの利用者を識別するための認証情報です。

多くのLLM APIでは、HTTPリクエストのヘッダーにAPIキーを設定します。プロバイダーはAPIキーを確認し、利用を許可するかどうかを判断します。

APIキーには、次のような役割があります。

  • APIを利用できる契約者を識別する

  • 利用量や料金を記録する

  • 不正なアクセスを防ぐ

  • 必要に応じてアクセスを停止する

APIキーはパスワードと同じように重要な情報です。ソースコードへ直接書き込んだり、公開されたリポジトリへ保存したりしてはいけません。

実際のシステムでは、環境変数やシークレット管理サービスを使って安全に保存します。

モデル名とは

LLM APIを呼び出す際には、使用するモデルを指定します。

モデルによって、次のような特徴が異なります。

  • 回答の品質

  • 推論能力

  • 応答速度

  • 利用料金

  • 入力できる文章量

  • 画像や音声への対応

  • Tool Callingへの対応

高性能なモデルがすべての処理に最適とは限りません。簡単な分類や定型文の生成では、低価格で高速なモデルのほうが適している場合があります。

AI Gatewayでは、アプリケーションが実際のモデル名を直接指定せず、「高性能モデル」や「低価格モデル」といった共通名で呼び出す構成も可能です。

リクエストの基本構造

リクエストとは、アプリケーションからLLMへ送る処理要求です。

チャット形式のAPIでは、通常、複数のメッセージを役割と内容の組み合わせで送信します。

代表的な役割は次のとおりです。

  • system：モデルの役割や基本ルールを指定する

  • user：利用者からの質問や依頼を指定する

  • assistant：過去のモデル回答を会話履歴として渡す

概念的には、次のようなデータを送信します。

[
{
"model": "example-model",
"messages": [
{
"role": "system",
"content": "あなたは親切なアシスタントです。"
},
{
"role": "user",
"content": "AI Gatewayとは何ですか。"
}
]
}
]

実際の項目名や指定方法は、使用するAPIによって異なります。

レスポンスの基本構造

レスポンスとは、LLMがリクエストに対して返す結果です。

一般的なレスポンスには、次の情報が含まれます。

  • 生成された文章

  • 使用したモデル

  • 処理を識別するID

  • 入力・出力トークン数

  • 処理終了の理由

  • エラー情報

アプリケーションはレスポンスから生成された文章を取り出し、画面表示や後続処理に利用します。

ただし、LLMの回答は常に期待どおりになるとは限りません。そのため、レスポンス形式の確認、エラー処理、出力内容の検査も必要です。

エラーが発生する場合

LLM APIでは、さまざまな理由でリクエストが失敗します。

  • APIキーが無効である

  • 指定したモデルを利用できない

  • リクエスト形式が正しくない

  • 入力がモデルの上限を超えている

  • 利用回数の制限に達している

  • プロバイダー側で障害が発生している

アプリケーション側では、成功時の処理だけでなく、エラー時の再試行や利用者への通知も実装する必要があります。

LLM APIとAI Gatewayの関係

LLM APIを直接利用する場合、アプリケーションはプロバイダーごとに異なるエンドポイント、APIキー、モデル名を管理します。

AI Gatewayを利用すると、アプリケーションは共通のエンドポイントへリクエストを送ります。Gatewayが、認証、モデル選択、接続先の切り替え、利用量の記録などを代わりに行います。

LLM APIの基本を理解することは、AI Gatewayがどの処理を共通化し、どの問題を解決しているのかを理解するための第一歩です。

いいなと思ったら応援しよう！