ChatGPT の新しいモデルが出たので速度比較を改めてシュッとしてみた

はい。

ChatGPT の新しいモデルが出ましてですね。

はい。

シュッと試したわけですが、その応答速度は上昇しているのか気になったわけです。

はい。

前回は 2023/06/06 に検証したのです。

はい。

そのときはトロールのごときレスポンスの遅さだったわけです。

はい。

というわけで同じ内容でテストしてみたという話。

検証内容

前回と同じく単純に応答速度の比較をしたいだけなので、シンプルに以下のような条件で Do しました。

• ChatGPT のモデルは gpt-3.5-turbo-16k と gpt-3.5-turbo-0613 を指定する

• それぞれの API に対して 100 のリクエストをする

  • リクエストは直列で行う

• 毎回同じテストデータを使用する

• 各リクエスト開始から終了までの時間を計測する

• 100 リクエストが終了したら以下で評価する

  • 平均値

  • 中央値

  • 95% タイル

テストコードとテスト用のリクエストデータは変わらず

num_requests = 100
for i in range(num_requests):
    start_time = time.time()
    response = openai.ChatCompletion.create(
        model="model",
        messages=test_messages,
    )
    end_time = time.time()
    response_time = end_time - start_time

test_messages=[
    {"role": "system", "content": "あなたは有能なアシスタントです。"},
    {"role": "user", "content": "こんにちは、アシスタントさん。"},
    {"role": "assistant", "content": "こんにちは、何かお手伝いできることがありますか？"},
    {"role": "user", "content": "はい、量子コンピュータについて具体的かつ詳細な情報を事細かに教えてください。"}
]

シュッと結果発表

さてどうなるやら、、、？(　・ω・)

前回

OpenAI 3.5-turbo を直接

平均値（秒） 37.52808257341385
中央値（秒） 37.01288115978241
95% タイル（秒）48.54238655567169

Azure を利用

平均値（秒） 14.997162017822266
中央値（秒） 12.197254180908203
95% タイル（秒） 18.164984118938445

今回

OpenAI gpt-3.5-turbo-0613 を直接

平均値（秒） 5.545848681926727
中央値（秒） 5.3504722118377686
95% タイル（秒）6.663025116920471

OpenAI gpt-3.5-turbo-16k を直接

平均値（秒） 5.847610671520233
中央値（秒） 5.803723096847534
95% タイル（秒）7.427717292308807

え？(　ﾟдﾟ)

バッキバキやん(　ﾟдﾟ)

前回は Azure の圧勝であったがその半分ほどになっているぅぅぅぅぅぅぅぅぅ！！！！(　ﾟдﾟ)

特にレスポンスも変な感じではなかったっす。

もしやと思って古いモデルでも一回リクエストしてみた

start_time = time.time()

response = openai.ChatCompletion.create(
    model="gpt-3.5-turbo",
    messages=test_messages
)

end_time = time.time()
response_time = end_time - start_time
print(response_time)

19.341638326644897

うん。遅い。

んで、現状、 Azure の方には最新モデルがデプロイ可能じゃなかったから Open AI API 叩く方が現状は速い？？(　ﾟдﾟ)

多分すぐに Azure でも使えるようになると思うけど。

ということでシュッと検証したのでおしまい。

これが継続するか来週くらいにまたベンチ回してみるでござる。

2023/06/15 追記

気になっていたので一日経過して再度ベンチしてみた

OpenAI gpt-3.5-turbo-0613 を直接

平均値（秒） 15.455044765472412
中央値（秒） 15.08030092716217
95% タイル（秒）19.084985005855557

古いモデルでも一回リクエストしてみた

19.017351388931274

Oh… 速度変わらなくなってる…

機能 Open AI の API Status に問題あったのでその影響もあるのか、、、？

引き続き、継続監視していきたいと思います。。。

2023/06/16 追記

昨日よりちょっと早い

OpenAI gpt-3.5-turbo-0613 を直接

平均値（秒） 10.844957702159881
中央値（秒） 10.754965901374817
95% タイル（秒）13.879241621494291