私は昨年の夏から、複数のLLMを本番ワークフローに組み込む業務を担当しています。先週、私は中国語ECプラットフォーム向けに商品レビューの自動分類パイプラインを構築していました。本番デプロイ直前の負荷テストで、突如下記のようなエラーが発生しました。
ConnectionError: HTTPSConnectionPool timeout exceeded. URL: /v1/chat/completions
The above exception was caused by ConnectTimeoutError(...)
Timeout: 30.000 seconds. Provider service unavailable from this region.
HTTPAdapter failed to establish connection after 3 retries.
さらに、月末の決済処理直後には別の致命的エラーも発生しました。
AuthenticationError: 401 - {'error': {'message': 'Invalid or expired API key.
Please verify your key on the provider dashboard.', 'code': 401}}
このような本番事故を繰り返す中で、私はHolySheepに到達しました。HolySheepは中国系LLMを含む複数モデルを単一エンドポイントで提供しており、東京・上海・北京のPoPから<50msの低レイテンシで配信されます。本記事では、私が実測