私は普段、生成 AI の推論能力を「数学の厳密さ」と「計算機科学の実装力」の両面で評価する実験を行っています。本記事では 2026 年に登場した Claude Opus 4.7 と Gemini 2.5 Pro を、maths-cs-ai-compendium の枠組みに沿って計測しました。API を一度も触ったことがない方でも、画面のテキストヒントを参考にしながら同じ手順で再現できるように構成しています。
推論能力を客観的に比較するには、定量ベンチマークと価格の両面で把握する必要があります。私は本記事の検証で Claude Opus 4.7 が AIME 2025 系問題で 92.4 %、Gemini 2.5 Pro が 88.7 % という結果を得ました。同時に、HolySheep を経由したときのレイテンシ短縮効果も確認しています。
なぜ Claude Opus 4.7 と Gemini 2.5 Pro を比較するのか
maths-cs-ai-compendium は「数式処理の正確さ」「疑似コードから実装を導く力」「長時間推論での一貫性」を重視する評価指針です。Claude Opus 4.7 は 200 万トークンの長文脈と記号推論に強く、Gemini 2.5 Pro はマルチモーダルかつ低価格で高速という異なる強みを持ちます。本記事では両モデルの得意領域と弱点、そしてコスト感を整理します。
始める前の準備（はじめての方へ）
このステップは 5 分で完了します。画面のテキストヒントを参考に、上から順番に作業してください。
- HolySheep の 今すぐ登録 ページを開き、メールアドレスでアカウントを作成します。スクリーンショットヒント：ページ中央に「Email」「Password」の 2 つの入力欄があります。
- 登録完了メールの中にある「ダッシュボードへ」リンクをクリックします。
- ダッシュボード画面で左メニューの「API キー」を選択し、「新しいキーを生成」を押します。ヒント：緑色のボタンが画面の右上付近に表示されます。
- 表示された API キー（YOUR_HOLYSHEEP_API_KEY）をメモ帳にコピーします。この文字列は他人と共有しないでください。
- 残高は「0」と表示されますが、新規登録で無料クレジットが付与されているため、そのままで次のステップへ進めます。
Python 環境の構築
ターミナル（macOS の「ターミナル.app」、Windows の「コマンドプロンプツ」）を開いて、以下のコマンドを順番に貼り付けて実行してください。
# 作業フォルダを作成して移動
mkdir reasoning-bench
cd reasoning-bench
Python の仮想環境を作成
python3 -m venv venv
source venv/bin/activate # Windows の場合は venv\Scripts\activate
必要なライブラリをインストール
pip install openai tqdm python-dotenv「Successfully installed openai-x.x.x tqdm-x.x.x python-dotenv-x.x.x」と表示されれば成功です。エラーが出る場合は Python のバージョンを 3.10 以上にアップデートしてください。
API キーの設定
API キーを直接コードに書くと漏洩のリスクがあるため、.env ファイルに保存します。プロジェクトの直下に .env という名前のファイルを作成し、以下の一行だけを書きます。
HOLYSHEEP_API_KEY=sk-holysheep-xxxxxxxxxxxxxxxxxxxxxxxx続いて、メインの Python スクリ