GPT3.5 API 大范围限速，情况说明与应对方案

一、官方限速

10月初，收到不少使用5美金不限速API账号的用户反馈，目前API请求频繁出现限速响应。

我找了一下原因，发现目前官方已经对5美金不限速账号的限速进行了调整，变成和普通5美金账号一样了。
也就是说每分钟只能请求3次，一天只能请求200次了。

顺便说下，近期市面上流通的5美金不限速账号，其实是和之前120美金一样的方式产出来的，只是官方现在只给了5美金的可使用额度。原本这类账号的速度是，每分钟可以请求3500次，且不限制当天总请求次数，tokens的限制也更宽松。

二、应对方案

个人认为有如下几个应对方案，大家可以讨论。

1、建立账号池，切换模型使用

可以使用大量普通的5美金账号组成账号池，来负载使用。
同时因为不同模型之间限速是独立计算的，所以还可以增加自动切换模型的逻辑，gpt-3.5-turbo、gpt-3.5-turbo-0301、gpt-3.5-turbo-0613等模型切换来用，效果更好。
目前也有提供这类的服务，不用自己搭建，直接用我们的转发来实现也可以。

2、用回原来的120美金账号