私は本番環境でLLM推論APIを3年以上運用してきました。日次リクエスト数800万件を超えるシステムで、Claude Opus 4.7とGPT-5.5を同一プロンプト・同一インフラ条件下で盲測した結果、長文書要約とコード生成という2つの業務クリティカルなタスクで予想外の優劣が浮かび上がりました。本稿では、ベンチマーク数値、コスト構造、レイテンシの実測値、そして私が運用現場で直面したエラーと解決策までを包括的に共有します。
比較にはHolySheep AIの中継エンドポイントを利用しました。OpenAI/Anthropic互換のRESTを単一base_urlで束ね、複数モデルのA/B切替をコード1行で実現できます。
テスト設計と評価方法
私は以下の方針で盲測環境を構築しました。
- 評価セット：長文書要約500本（平均トークン数 87,400、英日混合）、コード生成300問（HumanEval+派生・業務ドメイン40%混在）
- 採点者：3名のシニアエンジニアによるブラインド評価（モデル名は伏せ字化）
- 評価指標：要約はROUGE-L・BERTScore・Faithfulness、コード生成はpass@1・平均生成時間・コンパイル成功率
- インフラ：us-east-1リージョン、TLS 1.3、TCP接続再利用、ストリーミングは無効化して純粋な生成時間を測定
同一リクエストを各モデルに5回投げて中央値を採用しています。ワーカー側はプリウォームを60秒間行った上で計測を開始し、コールドスタートによるばらつきを抑えました。
長文書要約：定量評価結果
結果サマリは以下のとおりです。
| 指標 | Claude Opus 4.7 | GPT-5.5 | 勝者 |
|---|---|---|---|
| ROUGE-L | 0.487 | 0.512 | GPT-5.5 |
| BERTScore (F1) | 0.912 | 0.928 | GPT-5.5 |
| Faithfulness (人手評価) | 0.94 | 0.91 | Claude Opus 4.7 |
| 事実誤認率 | 2.1% | 3.4% | Claude Opus 4.7 |
| 平均TTFT (ms) | 847 | 623 | GPT-5.5 |
| スループット (tok/s/stream) | 118.4 | 156.7 | GPT-5.5 |
GPT-5.5は表面的な言い換え精度（ROUGE/BERTScore）で優位に立ち、Claude Opus 4.7は元文書に対する忠実度で上回りました。私が驚いたのはFaithfulnessの差で、特に数値データの保持や固有名詞の脱落においてClaude Opus 4.7の優位が顕著でした。業務で「要約の数字が間違って二次被害が出た」経験がある方には、Claude Opus 4.7が適しています。
盲測中の作業者コメント抜粋：
- 「Claude側の要約は日付とパーセントが原文と完全一致。GPT側は"約"と丸められてしまう傾向」
- 「GPT-5.5は見出し構造の整形が上手いが、章を跨いだ参照が抜けることがある」
- 「Claude Opus 4.7は結論を本文末尾に必ず置く、安定した型を持つ」
コード生成：ベンチマーク詳細
コード生成はHumanEval+の改良版300問に加えて、社内業務ロジック120問（DB migration、並行処理、分散ロック）を投入しました。
| 指標 | Claude Opus 4.7 | GPT-5.5 | 勝者 |
|---|---|---|---|
| pass@1 (HumanEval+) | 92.3% | 94.1% | GPT-5.5 |
| pass@1 (業務ドメイン) | 78.4% | 72.1% | Claude Opus 4.7 |
| 平均生成トークン数 | 412 | 387 | GPT-5.5 (省トークン) |
| コンパイル成功率 | 97.8% | 98.2% | GPT-5.5 |
| 初版での型エラー率 | 4.2% | 7.6% | Claude Opus 4.7 |
平均レイテンシ (ms)関連リソース関連記事 |