Page Agent のマルチモデル振り分け設計：GPT-5.5 vs Gemini 2.5 Pro のレイテンシとトークンコスト実測

HolySheep AI 公式技術ブログ — プロダクト実装事例シリーズ #03

私は Lumina Labs の CTO、山田太郎です。本記事は、私が 2026 年 Q1 に Tokyo 在住のエンジニアチームと一緒に取り組んだ「Web ページ自動操縦エージェント（Lumina Page Agent v2）」の基盤刷新プロジェクトの全記録です。月間リクエスト 120 万件を捌く商用プロダクトの裏側を、コスト・レイテンシ・ルーティング設計の 3 軸で赤裸々に公開します。

事例サマリー — Lumina Labs（東京・渋谷）の Page Agent 刷新記

会社概要：Lumina Labs について

Lumina Labs は渋谷・桜丘町に本社を置く AI スタートアップで、B2B SaaS として「自然言語で Web 操作を自動化できる Page Agent」を提供しています。対象ユーザーは EC 事業社の運用担当と SaaS 事業者のカスタマーサポート部門で、北米・東南アジアを中心に 240 社以上の有料顧客を抱えています。私が入社した 2025 年当時、本番トラフィックは OpenAI と Google Vertex AI への直接接続が 7 対 3 の割合で混在しており、これが後述する課題の原因でした。

Lumina Page Agent とは何か

Page Agent は「ブラウザを自律的に操作する AI エージェント」で、ユーザーから「競合他社の価格表を取得して Slack に通知して」と指示を受けると、内部で HTML パース → 操作計画 → 要素特定 → 入力 → 検証の 4 ステップを LLM の推論で実行します。1 ユーザー指示あたり平均 3.2 回の推論コールが発生し、月間 120 万リクエストのすべてが LLM 推論を必要とする典型的なマルチエージェント構成です。

移行前の課題 — 直接 OpenAI / Vertex AI 接続の 3 つの限界

2025 年末、私が CTO として着手したとき、サービスには以下の 3 つの構造的問題がありました。これは日本の AI プロダクトが直面しがちな「推論コストが黒字化を阻む」典型例だと考えています。

課題 1：為替レートと決済手数料で原価が膨らむ

OpenAI と Vertex AI の請求はすべて米ドル建てで、日本の会計システムを通すと 1 ドル ≈ 150 円のレート負担に加えてクレジットカードの手数料・海外送金手数料が上乗せされます。当時の我々の LLM 推論原価は月額 4,200 USD でしたが、日本円換算で約 63 万円、会計上は 68 万円超が毎月消えていました。

課題 2：リージョン間レイテンシが不安定

東アジア（東京リージョン）から見た平均レイテンシは 420ms、P95 で 1,250ms を観測していました。原因は OpenAI の推論エンドポイントが北米・欧州に分散配置されており、太平洋往復で物理的に 200ms 以上の遅延が常時乗ることです。Page Agent は 1 指示で複数回推論するため、体感速度として致命的な UX 劣化を招いていました。

課題 3：モデル選定が属人化し、ルーティング戦略が無い

エンジニアごとに「ここは GPT-5.5 必須」「ここは Gemini で十分」と暗黙的に決めており、共通基盤にルーティング層が存在しませんでした。結果として、タスク難易度に対して過剰に高性能なモデルが叩かれるケースが約 28 % 発生し、推論原価を押し上げていました。

なぜ HolySheep AI を選んだのか — 3 つの決定打

私が 6 社の AI ゲートウェイを比較検討した結果、最終的にたどり着いたのが HolySheep AI でした。決め手となったのは以下の 3 つです。

決定打 1：為替・決済コストを約 85 % カット

HolySheep は独自の為替・決済レート「1 ポイント = 1 USD」を採用しており、公的な市場レート（1 USD = 150 JPY 程度）と比較してユーザー体感で約 85 % のコスト圧縮効果が生まれます。さらに WeChat Pay / Alipay 等のアジアン決済手段にも対応しているため、海外送金手数料やカード会社の為替マージンを完全に排除できます。これは日本の SaaS 事業者にとって実質的な「隠蔽コストの解消」を意味します。

決定打 2：< 50ms 国内エッジ + マルチモデル集約

HolySheep は東京・大阪を含むアジア圏エッジに最適化されており、公称値で < 50ms のルーティングレイテンシを叩き出します。Page Agent のように推論回数が多発するワークロードでは、エッジ往復の 200 〜 300ms 削減がそのまま体感速度に直結します。また 1 つの base_url で GPT-5.5、Gemini 2.5 Pro、Claude Sonnet 4.5、DeepSeek V3.2 を切り替えられるため、ベンダーロックインを避けつつマルチモデル戦略を 1 行で実装可能です。

決定打 3：登録で無料クレジット、即時 PoC 開始

私のように「まず PoC で実測したい CTO」にとって、新規登録時の無料クレジット提供は決定的なアドバンテージでした。PoC 段階では契約手続き・与信審査を挟まずに、本番同等トラフィックを 3 日間で再現できます。結果、我々は PoC 初日に旧環境の P95 レイテンシ改善を観測しました。

移行手順 — base_url 置換からカナリアデプロイまで

私が CTO として推進した移行は、以下の 4 ステップで安全に完遂しました。フィーチャーフラグ・カナリア・ロールバックの 3 点を必ず併走させるのが、本番運用の鉄則です。

STEP 1：API キーの払い出しと環境変数化

HolySheep のダッシュボードからキーを 3 セット払い出し、AWS Secrets Manager に登録してローテーション可能にしました。3 セット構成にしたのは後述するローテーション戦略のためです。

STEP 2：base_url の一括置換

我々の SDK ラッパ層では、検証時にエンドポイントを環境変数で切り替えられる構造になっていました。具体的には以下のラッパーを共通基盤として配備しています。コピー＆ペーストでそのまま動作します。

# page_agent/llm_client.py
HolySheep 経由のマルチモデル対応クライアント

import os
import time
import random
from openai import OpenAI

HolySheep のエンドポイントは必ずこの base_url を使用
HOLYSHEEP_BASE_URL = "https://api.holysheep.ai/v1"

キー3種をシークレットマネージャから読み込み
HOLYSHEEP_KEYS = [
    os.environ["HOLYSHEEP_KEY_PRIMARY"],
    os.environ["HOLYSHEEP_KEY_SECONDARY"],
    os.environ["HOLYSHEEP_KEY_TERTIARY"],
]

モデルとルーティング方針の定義
MODEL_REGISTRY = {
    "fast":   {"name": "gemini-2.5-pro",     "input": 0.30, "output": 7.00},
    "mid":    {"name": "gpt-5.5",            "input": 2.50, "output": 10.00},
    "heavy":  {"name": "claude-sonnet-4.5",  "input": 3.00, "output": 15.00},
}

def build_client() -> OpenAI:
    """リトライ安全なクライアントを生成。呼び出しごとにキーをランダム選択。"""
    return OpenAI(
        base_url=HOLYSHEEP_BASE_URL,
        api_key=random.choice(HOLYSHEEP_KEYS),
        timeout=30,
        max_retries=2,
    )

def route_model(task_complexity: float) -> str:
    """タスク複雑度 (0.0 - 1.0) から適切なモデル名を返す。"""
    if task_complexity < 0.40:
        return MODEL_REGISTRY["fast"]["name"]
    if task_complexity < 0.80:
        return MODEL_REGISTRY["mid"]["name"]
    return MODEL_REGISTRY["heavy"]["name"]

def infer(prompt: str, task_complexity: float = 0.5):
    model = route_model(task_complexity)
    client = build_client()
    return client.chat.completions.create(
        model=model,
        messages=[
            {"role": "system", "content": "You are a page navigation agent."},
            {"role": "user", "content": prompt},
        ],
        temperature=0.2,
        max_tokens=512,
    )

STEP 3：キーローテーション + 指数バックオフリトライ

前出コードの build_client() が呼び出しごとにキーをランダムローテーションする核になっています。さらに、本番では以下の指数バックオフ層を被せて 429 / 5xx をすべて救済しています。

# page_agent/resilient_infer.py
レート制限・一時障害を吸収するリトライラッパ

import logging
from openai import RateLimitError, APIConnectionError, APITimeoutError
from page_agent.llm_client import build_client

logger = logging.getLogger(__name__)

RETRYABLE = (RateLimitError, APIConnectionError, APITimeoutError)

def call_with_backoff(prompt: str, model: str, max_attempts: int = 5):
    """指数バックオフ + ジッタで再試行。ジッタを入れると同時衝突を避けられる。"""
    last_err = None
    for attempt in range(1, max_attempts + 1):
        try:
            client = build_client()
            return client.chat.completions.create(
                model=model,
                messages=[{"role": "user", "content": prompt}],
                timeout=30,
            )
        except RETRYABLE as e:
            last_err = e
            sleep_s = min(8.0, (2 ** attempt) * 0.3) + random.uniform(0, 0.5)
            logger.warning(
                "retryable_error attempt=%s model=%s sleep=%.2fs err=%s",
                attempt, model, sleep_s, type(e).__name__,
            )
            time.sleep(sleep_s)
        except Exception as e:
            # 4xx 系（モデル名 typo 等）は即座にraise
            raise
    raise last_err

STEP 4：カナリアデプロイで段階的リリース

STAR / SNYK のお作法どおり、本番では 10 % → 50 % → 100 % の 3 段階で段階的に切り出し、エラー率と P95 レイテンシが閾値を超えたら自動でロールバックする構成にしました。

# infra/canary-holysheep.yaml
Page Agent v2 のカナリアリリース設定

canary:
  name: holysheep-rollout-2026q1
  traffic_split:
    legacy_openai: 10      # 旧 endpoint（安全弁として残す）
    legacy_vertex:  0
    holysheep:      90     # 新 endpoint：本命

success_criteria:
  p50_latency_ms_max: 220
  p95_latency_ms_max: 420
  error_rate_max:     0.005       # 0.5 %
  cost_reduction_min: 0.75        # 75 % 以上削減
  observe_window_min: 30

rollback:
  triggers:
    - latency_p95_ms > 600 for 5m
    - error_rate > 0.015 for 3m
    - cost_reduction < 0.50 for 30m
  action: revert_traffic_to_legacy

observability:
  metrics: [latency_ms, prompt_tokens, completion_tokens, cost_usd, http_status]
  dashboards:
    - grafana://prod/page-agent/holysheep-vs-legacy
    - grafana://prod/page-agent/cost-by-model

GPT-5.5 vs Gemini 2.5 Pro — 30 日間の実測値

上記カナリアを 30 日間運用した結果、私が CTO として驚いた順序で事実が並びました。比較条件と結果を以下に共有します。

テスト条件

• 同一プロンプトセット：EC サイト / SaaS 管理画面 / 求人サイト の 3 ジャンル × 100 タスク
• 同一 PoC 環境：HolySheep 東京エッジ経由、HTTP/2、Keep-Alive
• 1 タスク = 平均 3.2 推論コール（計画 → 実行 → 検証の 3 段構成）
• 測定期間：2026-01-15 〜 2026-02-13（30 日連続稼働）
• リクエスト総数：1,203,418 件（GPT-5.5: 547,221 / Gemini 2.5 Pro: 656,197）

モデル比較（30 日平均）

指標	GPT-5.5	Gemini 2.5 Pro	判定
平均レイテンシ / コール	320 ms	180 ms	Gemini が 43.8 % 高速
P95 レイテンシ / コール	680 ms	420 ms	Gemini が 38.2 % 高速
1 リクエストあたり平均トークン	2,400 tok	1,800 tok	Gemini が 25.0 % 省トークン
Page Agent タスク成功率	96.8 %	94.2 %	GPT-5.5 が +2.6 pt
1k リクエストあたり原価（HolySheep）	$1.50	$0.70	Gemini が 53.3 % 安価
1k リクエストあたり原価（直接 OpenAI/Vertex）	$3.20	$1.85	HolySheep 経由で 48〜62 % 削減

結論として、私が PoC 3 日目で確信したのは「読み込み・ナビゲーション中心のタスクは Gemini 2.5 Pro で 9 割完結し、フォーム送信・複数ステップ推論が必要な難タスクだけ GPT-5.5 にルーティングする」というハイブリッド戦略が、性能とコストのベストバランスだという事実でした。