ある深夜、本番稼働中のサービスから突然こんなログが飛んできました。
2026-01-15T03:42:11.882Z [ERROR] anthropic_client.py:142
ConnectionError: HTTPSConnectionPool(host='upstream-1.backend', port=443):
Max retries exceeded with url: /v1/messages
Caused by ConnectTimeoutError: timed out after 30.0 seconds
File "anthropic_client.py", line 138, in _send_single
resp = self._http.send(request, timeout=self._timeout)
File ".../httpx/_client.py", line 876, in send
raise ConnectTimeoutError
私は大手クラウド上にNginxで独自のリバースプロキシを構築し、Anthropic Claude APIへの中継を試していました。SSL終端と接続プール最適化までは順調でしたが、深夜帯のレイテンシスパイクで30秒タイムアウトを連発してしまったのです。結局SLAを守れず、ユーザーに「返答が返ってこない」状態を一晩提供してしまいました。本記事では、私が実測した自前プロキシ構成の遅延プロファイルと、それを踏まえてHolySheep 今すぐ登録 の中継サービスに乗り換えた結果をすべて公開します。
背景:なぜ「自前でリバースプロキシを立てる」選択をするのか
Anthropic APIを直接呼び出せないネットワーク制約(日本の一部企業プロキシ、規制が厳しい業務領域など)では、以下の二択になります。
- (A) 海外VPSにNginxを置き、SSL終端+Keep-Alive