私が開発・運用するSaaSプロダクトでは、Gemini 2.5 Proを中核に据えたPDF解析バッチを平日昼間に秒間120リクエスト規模で流しています。2025年11月のピーク日に本番環境で以下の3つの致命的エラーが同時多発し、約40分間サービスが停止するインシデントが発生しました。本記事では、私がHolySheep AIの中継APIへ移行することでQPSを2.4倍に引き上げた実戦手順を全公開します。まずは今すぐ登録して無料クレジットを獲得してください。
1. 直面した3つの致命的エラー
エラー1：APIConnectionError: Read timed out
公式エンドポイントを直接叩いていた当時、秒間80リクエストを超えた辺りから以下の例外が頻発しました。1リクエストあたり平均1.8秒を要していたため、タイムアウト（10s）に次々と到達します。