Azure OpenAI の新しいバージョンを観測したのでとりあえずシュッと速度を比較してみた
どもー(/・ω・)/
なんか今日は Azure OpenAI Service On Your Data で賑わっておりますが、そっちは触らないですの( ・ω・)
Azure OpenAI の新しいバージョン出てないかな～
と思って覗きに行ったら
2023-06-01-previewでとるやんけ( ﾟДﾟ)
となったのでバージョンを比較してとりあえず速度を見て見る。
という話。
検証内容
検証はいつも通りの内容でござる( ・ω・)
シンプルに以下のような条件で Do it
ChatGPT のモデルは 3.5-turbo を指定する
それぞれの API に対して 100 のリクエストをする
リクエストは直列で行う
毎回同じテストデータを使用する
各リクエスト開始から終了までの時間を計測する
100 リクエストが終了したら以下で評価する
平均値
中央値
95% タイル
99% タイル
計測は 2023/06/20 17:00 - 18:00 くらいの間
2023-05-15 バージョンを利用
平均値（秒） 18.016085
中央値（秒） 12.754159
95% タイル（秒） 19.293653
99% タイル（秒） 194.724854
2023-06-01-preview バージョンを利用
平均値（秒） 16.906054
中央値（秒） 12.698941
95% タイル（秒） 17.655974
99% タイル（秒） 201.455907
んー。速度的には大して変わらんなぁ( ・ω・)
っていうのとたまにものすごーーく遅いですなぁ。
とりあえずシュッとみたのでおしまい。
