大模型 API 429 限流错误完整排查与重试实践——HolySheep AI 中转站开发者指南

前言

在国内调用大模型（LLM）API 时，HolySheep AI 中转站提供了统一的入口和流量管理。但高并发或超出配额时，服务器会返回 HTTP 429 (Too Many Requests) 错误。本文围绕 429 错误的产生原因、排查步骤以及指数退避重试的实现展开，帮助开发者快速定位问题、恢复服务。

---

一、429 错误触发原因

| 常见原因 | 说明 | 典型错误信息示例 |
|----------|------|-------------------|
| QPS（每秒请求数）超限 | 单位时间内的请求次数超过接口设定的阈值。 | {"error":"rate_limit_exceeded","retry_after":1} |
| 并发请求数过高 | 同时发起的未完成请求数超过并发上限。 | {"error":"concurrent_limit_exceeded","message":"Too many active requests"} |
| Token/天配额耗尽 | 当日累计使用的 Token 数量已达到账户配额上限。 | `{"error":"daily_token_limit","remaining":0,"reset_at