ChatGPT API请求被限速？3个Python代码示例帮你轻松搞定（附避坑指南）

ChatGPT API请求被限速？3个Python代码示例帮你轻松搞定（附避坑指南）

最近在开发者社区里，ChatGPT API的速率限制问题成了高频讨论话题。不少开发者反馈，明明业务量不大，却频繁收到"Rate limit exceeded"的错误提示，导致服务中断。这个问题在高峰期尤为明显，特别是当多个团队共享同一个组织密钥时。本文将分享三种经过实战检验的Python解决方案，帮你优雅应对API限速问题。

1. 理解ChatGPT API的速率限制机制

在解决问题之前，我们需要先了解OpenAI API的限速规则。不同于简单的请求次数限制，它采用了多维度的控制策略：

• RPM：每分钟请求数（默认3,500次）
• RPD：每天请求数（默认50,000次）
• TPM：每分钟令牌数（默认90,000个）
• TPD：每天令牌数（默认无默认限制）
• IPM：每分钟图像数（仅适用于DALL·E模型）

实际项目中，最常见的触发点是RPM和TPM限制。有趣的是，这些限制是在组织级别而非用户级别生效的。这意味着如果你所在的组织有多个团队共用API密钥，所有请求都会计入同一个配额池。

注意：不同模型有不同的速率限制。例如gpt-4的限制通常比gpt-3.5-turbo更严格。

2. 解决方案一：使用Tenacity实现指数退避

指数退避是处理速率限制的黄金标准，它的核心思想是：当遇到限速错误时，不是立即重试，而是等待一段时间，且每次重试的等待时间呈指数增长。

from openai import OpenAI
from tenacity import (
    retry,
    stop_after_attempt,
    wait_random_exponential,
)

client = OpenAI()

@retry(
    wait=wait_random_exponential(min=1, max=60),
    stop=stop_after_attempt(6),
    retry_error_callback=lambda retry_state: print(f"最终失败: {retry_state.outcome.exception()}")
)
def chat_completion_with_backoff(**kwargs):
    return client.chat.completi