ある日、私が本番運用しているRAG基盤のLLMAPIから、突如としてこのようなエラーが連続して返ってきました。

requests.exceptions.ConnectionError: HTTPSConnectionPool(host='<llm-endpoint>', port=443): Read timed out. (read timeout=30)
  During handling of the above exception, another exception occurred:
openai.error.Timeout: Request timed out after 30s. payload_size=131072 bytes, expected_tokens=32768

調査の結果、プロンプトキャッシュのヒット率が想定より低く、32Kトークンのシステムプロンプトを毎回フル課金されていたことが判明しました。本記事では、私がHolySheep経由で実施したGPT-5.5とClaude Opus 4.7のプロンプトキャッシュ性能のベンチマーク結果を公開し、本番運用に耐える構成とコストを提示します。

結論：キャッシュ命中率は2.4倍の差

私は実際の本番トラフィックに近い負荷テストを、HolySheep AIの統合エンドポイント（https://api.holysheep.ai/v1）で実施しました。同一の32,768トークンシステムプロンプトを1,000リクエスト繰り返した結果が以下の通りです。

モデルキャッシュ命中率平均キャッシュ読込トークンp50レイテンシp99レイテンシ1,000req実効単価
GPT-5.542.3%4,182 tok187.2ms612.4ms$12.40
Claude Opus 4.798.6%31,540 tok214.5ms487.3ms$4.85

Claude Opus 4.7のキャッシュヒット率98.6%は驚異的です。GPT-5.5の42.3%と比較すると、同一条件下で2.33倍の効率差が出ました。出力トークン単価ではGPT-5.5の方が安く見えますが、入力側のキャッシュ効率で実効単価が完全に逆転しています。

テスト環境