私は普段、SWE-benchのような実践的なコード生成ベンチマークを追いかけることが多いのですが、2026年の最新モデル比較では結果の解釈だけでなく、ベンチマーク1回あたりの推論コストまで含めて議論しないと意味がありません。本記事では、GPT-5.5とClaude Opus 4.7のpass@1スコアを提示したうえで、検証済みの2026年価格テーブルから月間1000万トークン利用時の実コストを算出し、HolySheep経由で利用した場合の差額まで示します。
SWE-bench pass@k とは何か
SWE-benchはGitHubの実リポジトリから収集された2,294件の課題に対するモデルの自動修正能力を測るベンチマークです。pass@kは生成したk個のうち少なくとも1つが合格する確率で、pass@1は実務に最も近い指標とされています。2025年末のVerified split更新で評価スクリプトも整備され、2026年1月以降は公式リーダーボードが月次で更新されるようになりました。
2026年 検証済み output 価格 (/MTok)
| プロバイダー / モデル | シリーズ | output ($/MTok) | 1000万トークン月額 (USD) |
|---|---|---|---|
| GPT-4.1 | OpenAI 推論 | $8.00 | $80.00 |
| Claude Sonnet 4.5 | Anthropic 推論 | $15.00 | $150.00 |
| Gemini 2.5 Flash | Google 軽量 | $2.50 |