モデルおよびMCPサービスにレート制限を適用します

このページでは、 Unity AI Gateway AI サービスのレート制限を構成する方法について説明します。レート制限を使用すると、容量とコストを管理するために、モデルサービスまたは MCP サービスに消費制限を適用できます。

Requirements

サービスの種類に応じて、1 分あたりの要求数 (QPM) または 1 分あたりのトークン数 (TPM) に基づいてレート制限を設定できます。

レート制限を有効にするには、モデルサービスまたは MCP サービスを構成するときに [ レート制限 ] を選択します。レート制限は、次のレベルで定義できます。

フィールド	説明
サービス	サービス全体で処理できる最大 QPM または TPM を指定します。この制限は、ユーザーに関係なく、すべてのトラフィックに適用されます。
ユーザー (既定)	より具体的なカスタムレート制限が定義されていない限り、サービスのすべてのユーザーに適用される既定のユーザーごとのレート制限を指定します。
カスタムレート制限	カスタムレート制限は、次の場合に指定できます。個々のユーザーまたはサービスプリンシパル: ユーザーグループのカスタムレート制限よりも優先されます。ユーザーグループ: この制限は、グループのすべてのメンバーの共有レート制限です。

レート制限は、サービスに対してクエリを実行するアクセス許可を持つユーザーにのみ適用されます。
既定では、ユーザーまたはサービスに対して構成されたレート制限はありません。
サービスレートの制限は、グローバルな最大値です。この制限を超えた場合、ユーザー固有またはグループ固有のレート制限に関係なく、サービスに対するすべての要求がブロックされます。
サービス、ユーザー、またはサービスプリンシパルに要求ベースのレート制限とトークンベースのレート制限の両方が指定されている場合は、より制限の厳しいレート制限が適用されます。
カスタムレート制限は、 ユーザー (既定) のレート制限をオーバーライドします。
- ユーザーがユーザー固有の制限とグループ固有の制限の両方に属している場合、ユーザー固有の制限が適用されます。
- ユーザーが異なる QPM または TPM レート制限を持つ複数のユーザーグループに属している場合、ユーザーグループのすべての QPM レート制限またはすべての TPM レート制限を超えると、ユーザーはレート制限されます。

レート制限を超えると、サービスは HTTP 429 (要求が多すぎます) 応答を返します。クライアントは、指数バックオフを使用して再試行ロジックを実装する必要があります。

レートリミッターは低遅延用に設計されており、次のような動作が期待されます。

同時要求は、事前にチェックされません。システムは応答の送信後に使用状況を記録するため、複数の要求が同じ時点で到着した場合は、使用状況がカウントされる前にすべて処理できます。その後、容量が回復するまで、要求は拒否されます。実際には、トラフィックのバーストの後に繰り返しパターンで短い一時停止が続く場合があります。
制限はサービスインスタンス間で個別に適用されるため、特にサービスが作成または更新された直後に、構成された制限をわずかに超える短いバーストが発生する可能性があります。

長い時間枠で、平均要求レートは構成された制限に収束します。

このページはお役に立ちましたか?