深夜2時、私が運営するアパレルECサイトのAIカスタマーサービスが突然応答不能に陥った。年末セール開始30分後のことで、ピーク時には毎秒120リクエストを超えた。在庫確認、配送追跡、返品受付の3系統のボットが同時に遅延を起こし、フロントエンドにはタイムアウトの嵐。PostgreSQLは正常、Redisも健康、それなのにLLMエンドポイントだけが喘いでいた。私はその夜、DeepSeek V4ベースの耐障害アーキテクチャを全面的に再設計する決意をした。本記事では、その過程で確立した「熔断（サーキットブレーカー）+ 降級（グレースフルデグラデーション）」と「4xx／5xx 自動リトライ戦略」を、コピー＆ペーストで動くPythonコードとともに公開する。
1. ユースケース3選 — どこから始めるべきか
1-1. ECサイトのAIカスタマーサービス急増
セール開始・テレビ露出・SNSバズ。これらが重なると、トラフィックは通常の5〜10倍に跳ね上がる。LLMはステートフルで重く、データベースとは桁違いのリソースを食う。特に年末年始・ゴールデンウィーク・中元のギフト商戦では秒間100リクエスト超えが常態化する。
1-2. 企業内RAGシステムのローンチ直後
社内文書検索のRAGは、ローンチ初日に全社員が一斉アクセスする「ゴールドラッシュ」を経験する。同時接続数が推定を大きく超え、想定外の5xxが頻発する。
1-3. 個人開発者のサイドプロジェクト
Hacker NewsやQiitaでバズった瞬間、たった1人で運用しているSaaSでも秒間30リクエストが来て、Vercelの無料枠が吹き飛ぶ。APIキーの残額が消える恐怖は、まさに実体験した者にしかわからない。
いずれのケースでも、本質的な問題は同じだ。LLM呼び出しはI/O待ちが長く、1回あたりのレイテンシが150〜500msと大きい。したがって、リクエスト数が10倍になれば、タイムアウトと5xxの発生確率は指数関数的に跳ね上がる。
2. なぜ HolySheep AI を経由するのか — コストと安定性の両立
私が耐障害設計に取りかかる前に、まずLLMの調達先を一本化した。具体的には、