私は2025年12月の深夜、本番APIサーバーから届いたSentryの通知で目を覚ましました。requests.exceptions.ConnectionError: HTTPSConnectionPool(host='api.moonshot.cn', port=443): Read timed out. (read timeout=30) — Kimi K2の128Kコンテキスト処理が30秒のタイムアウトを連発し、SLO違反のアラートがPagerDutyで鳴り止まない状況でした。再起動しても直らない。別チームのエンジニアが「GLM-4.6は200Kコンテキストでも安定しているらしい」と耳打ちしてくれたのをきっかけに、私は二大長文コンテキストAPIを徹底的にベンチマークすることにしました。本記事では、私がHolySheep 今すぐ登録経由で取得した実測値と、運用中に遭遇した具体的なエラーと解決策を共有します。
比較対象：GLM-4.6 と Kimi K2
GLM-4.6はZhipu AI（Z.ai）が公開したオープンウェイトモデルで、最大200Kトークンのコンテキストウィンドウを持ちます。Kimi K2はMoonshot AIの1兆パラメータMoEモデルで、128Kコンテキスト・強力なツールユース性能が特徴です。どちらも長文ドキュメント要約・コードベース全体解析・RAG拡張といった用途で競合します。
HolySheep AI 経由で計測する理由
HolySheep AI（https://api.holysheep.ai/v1）は、OpenAI/Anthropic/Google互換のエンドポイントを提供するAI API集約プラットフォームです。GLM-4.6とKimi K2を含む複数モデルを単一APIキーで呼び出せるほか、レート¥1=$1（公式¥7.3=$1比85%節約）、WeChat Pay・Alipay対応、レイテンシ<50ms、登録時無料クレジットといった利点があります。計測用のSDKを共通化できるため、純粋なモデル性能の差分を切り出しやすいのも採用理由です。
ベンチマーク環境
- クライアント：Python 3.11 / requests 2.32 / 東京リージョンAWS EC2 c6i.4xlarge
- テストデータ：平均102,400トークン（最大199,800トークン）の英文技術文書
- 測定指標：TTFT（初トークン到達時間）、スループット（tok/s）、1000回連続リクエストの成功率
- 温度：0.3 / max_tokens：2048 / 同時接続数：4
結果① レイテンシ・スループット・成功率
| 指標（128Kコンテキスト時） | GLM-4.6 | Kimi K2 |
|---|---|---|
| TTFT（中央値） | 284ms | 342ms |
| TTFT（P95） | 412ms | 598ms |
| スループット（中央値） | 88.4 tok/s | 63.7 tok/s |
| スループット（P5ワースト） | 61.2 tok/s | 28.9 tok/s |
| 1000回連続成功率 | 99.4% | 97.6% |
| 30秒タイムアウト発生率 | 0.2% | 3.8% |
私が計測した実環境では、GLM-4.6の方がTTFTで約17%、スループットで約39%優れていました。冒頭のエラーはまさにKimi K2の「30秒タイムアウト発生率3.8%」に該当する症状で、GLM-4.6への切替でアラートが完全に消えました。
結果② 価格比較（output価格ベース）
| モデル | 最大文脈長 | 出力($/MTok) | 月100M出力(HolySheep) | 月100M出力(公式) | 月間節約額 |
|---|---|---|---|---|---|
| GLM-4.6 | 200K | $0.42 | ¥42 | ¥306.6 | ¥264.6 |
| Kimi K2 | 128K | $2.40 | ¥240 | ¥1,752 | ¥1,512 |
| DeepSeek V3.2 | 128K関連リソース関連記事 |