2 giờ 17 phút sáng. Slack của tôi nổ tung vì dashboard monitoring báo đỏ: production chatbot phục vụ 12.000 người dùng đang quay cuồng vì một cơn mưa request dồn dập. Log in ra liên tục ném vào mặt tôi cảnh báo:
openai.RateLimitError: Error code: 429 -
{'error': {'message': 'Rate limit reached for gpt-5.5 in organization
org-XXX on requests per min (RPM): Limit 3000, Used 3000, Requested 1.',
'code': 'rate_limit_reached', 'type': 'requests'}}
Cứ mỗi phút downtime, công ty mất khoảng $850 doanh thu. Đó cũng là lúc tôi rút ra bài học xương máu: việc cấu hình retry đúng cách ngay từ đầu quan trọng hơn bất kỳ prompt engineering nào. May mắn là sau khi chuyển sang Đăng ký tại đây để dùng endpoint trung gian với độ trễ dưới 50ms và tỷ giá ¥1=$1 (tiết kiệm hơn 85% so với kênh chính h