私は HolySheep AI のシニア統合エンジニアとして、推論系 LLM の実機評価を担当しています。本稿では DeepSeek V4 と GPT-5.5 を HolySheep の統合ゲートウェイ経由で叩き、出力トークン単価・レイテンシ・推論精度を 3 日間・計 1,240 リクエストで実測しました。今すぐ登録すると無料クレジットで同じベンチマークを即座に再現できます。
評価軸と採点方法
本レビューでは以下の 5 軸を 5 段階 (5.0 が満点) で採点しています。
- レイテンシ: p50 / p95 応答時間 (ms)
- 推論タスク成功率: MATH-500 と GSM8K での正答率 (%)