AI API コスト監視ダッシュボード：Prometheus + Grafana で複数モデルの支出をリアルタイム追跡する方法

私は以前、4 つの AI モデル（GPT-4.1、Claude Sonnet 4.5、Gemini 2.5 Flash、DeepSeek V3.2）を同時に運用していたとき、月末の請求書を見て青ざめた経験があります。1 日の利用額が分からず、どのモデルが予算を食い潰しているのか特定できなかったのです。そこで私は、今すぐ登録 して手に入れた HolySheep AI の API を使って、すべての呼び出しを Prometheus + Grafana で可視化する仕組みを作りました。本記事では、その全手順を API 初心者でも迷わないように丁寧に解説します。

HolySheep AI の魅力は、公式価格と比較して約 85% も安い点です。具体的には、公式 OpenAI が日本円換算で 1 ドルあたり約 7.3 円のところを、HolySheep AI では 1 ドル = 1 円の固定レートで提供しており、WeChat Pay と Alipay にも対応しています。さらに、レイテンシは実測で 38ms〜46ms（<50ms 保証）でした。初めての方は登録時に無料クレジットを獲得できるので、本記事を読みながら実際に試してみてください。

このダッシュボードで実現できること

• モデル別・時間帯別の USD 支出を 1 秒単位で更新
• 1 分あたりのトークン消費量と呼び出し回数のグラフ表示
• アラート閾値（例：1 時間 5 ドル超）を超えた場合の Slack 通知
• 出力トークン 1M あたりの単価（GPT-4.1: 0.8 セント、Claude Sonnet 4.5: 1.5 セント、Gemini 2.5 Flash: 0.25 セント、DeepSeek V3.2: 0.042 セント）の自動計算

必要なもの

• Linux または macOS のターミナル操作ができる PC
• Docker Desktop（インストール済みであれば OK）
• HolySheep AI のアカウントと API キー
• Python 3.10 以上

Docker をはじめて使う方は、公式サイトから「Docker Desktop」をダウンロードし、インストール後にタスクバーにクジラのアイコンが表示されることを確認してください。ターミナルで docker --version と入力し、バージョンが表示されれば準備完了です。

ステップ 1：HolySheep AI の API キーを取得する

ブラウザで HolySheep AI の公式サイトを開き、右上の「登録」ボタンからアカウントを作成します。登録はメールアドレスとパスワードだけで 30 秒で完了し、初回登録ボーナスとして無料クレジットが付与されます。

ログイン後、画面左のメニューから「API Keys」を選択し、「Create New Key」ボタンを押します。キーの名前は cost-monitor など分かりやすい名前を付け、生成された sk-hs-... で始まる文字列を必ずメモ帳にコピーしてください。この画面は再表示できないため、コピーを忘れた場合は再発行が必要です。

ステップ 2：Python で API 呼び出し情報を収集する

ここでは、各モデルの API レスポンスに含まれる usage 情報（入力トークン数、出力トークン数、モデル名）を取得し、Prometheus が読み取れる形式で出力する小さな Python スクリプトを作成します。

任意のフォルダを作成し、collector.py という名前で以下のファイルを作成してください。

import os
import time
import requests
from prometheus_client import start_http_server, Gauge

HolySheep AI のエンドポイント
BASE_URL = "https://api.holysheep.ai/v1"
API_KEY = os.environ.get("HOLYSHEEP_API_KEY", "YOUR_HOLYSHEEP_API_KEY")

1M トークンあたりの出力単価（USD → セント）
PRICE_PER_MTOK = {
    "gpt-4.1": 800.0,
    "claude-sonnet-4.5": 1500.0,
    "gemini-2.5-flash": 250.0,
    "deepseek-v3.2": 42.0,
}

Prometheus メトリクス定義
cost_gauge = Gauge(
    "holysheep_api_cost_cents_total",
    "累積コスト（セント）",
    ["model"],
)
token_gauge = Gauge(
    "holysheep_api_tokens_total",
    "累積トークン数",
    ["model", "direction"],
)


def call_model(model: str, prompt: str) -> None:
    """HolySheep AI へ 1 回リクエストを送り、コストを記録する"""
    headers = {
        "Authorization": f"Bearer {API_KEY}",
        "Content-Type": "application/json",
    }
    payload = {
        "model": model,
        "messages": [{"role": "user", "content": prompt}],
    }
    response = requests.post(
        f"{BASE_URL}/chat/completions",
        headers=headers,
        json=payload,
        timeout=15,
    )
    response.raise_for_status()
    data = response.json()
    usage = data.get("usage", {})
    output_tokens = usage.get("completion_tokens", 0)
    input_tokens = usage.get("prompt_tokens", 0)
    price = PRICE_PER_MTOK.get(model, 0.0)
    cost_cents = (output_tokens / 1_000_000) * price

    cost_gauge.labels(model=model).inc(cost_cents)
    token_gauge.labels(model=model, direction="output").inc(output_tokens)
    token_gauge.labels(model=model, direction="input").inc(input_tokens)
    print(f"[{model}] in={input_tokens} out={output_tokens} cost={cost_cents:.4f} cents")


if __name__ == "__main__":
    # Prometheus が 8000 番ポートで取得できるよう HTTP サーバーを起動
    start_http_server(8000)
    models = ["gpt-4.1", "claude-sonnet-4.5", "gemini-2.5-flash", "deepseek-v3.2"]
    while True:
        for m in models:
            try:
                call_model(m, "コスト監視テスト用の短いプロンプトです。")
            except Exception as exc:
                print(f"[ERROR] {m}: {exc}")
        time.sleep(30)

ターミナルで次の 3 コマンドを実行し、必要なライブラリをインストールして起動します。

pip install requests prometheus_client
export HOLYSHEEP_API_KEY="sk-hs-xxxxxxxxxxxxxxxx"
python collector.py

正常に動作すると、30 秒ごとに 4 つのモデルへリクエストが送られ、http://localhost:8000/metrics をブラウザで開くと下記のような行が確認できます。

holysheep_api_cost_cents_total{model="gpt-4.1"} 0.0024
holysheep_api_tokens_total{model="gpt-4.1",direction="output"} 3.0

私は最初のテストで、gpt-4.1 の出力 3 トークンに対して 0.0024 セントが加算されるのを確認しました。これは GPT-4.1 の 1M トークン単価 800 セントのうち 3/1,000,000 を占めており、計算が正しく動いている証拠です。

ステップ 3：Prometheus を Docker で起動する

次に、Prometheus を Docker コンテナで立ち上げ、上の collector.py が公開するメトリクスを 15 秒ごとに取得させます。プロジェクトフォルダに prometheus.yml を作成します。

global:
  scrape_interval: 15s

scrape_configs:
  - job_name: "holysheep_collector"
    static_configs:
      - targets: ["host.docker.internal:8000"]
        labels:
          service: "ai-cost-monitor"

macOS / Windows の Docker Desktop では host.docker.internal がホスト PC を指すため、Python スクリプトが動作しているのと同じマシンで Prometheus が動きます。Linux の場合は --network host オプション付きでコンテナを起動し、targets を localhost:8000 に書き換えてください。

続いて、同じフォルダで以下のコマンドを入力します。

docker run -d \
  --name prometheus \
  -p 9090:9090 \
  -v "$(pwd)/prometheus.yml":/etc/prometheus/prometheus.yml \
  prom/prometheus:latest

起動後、ブラウザで http://localhost:9090/targets を開きます。「holysheep_collector」という行の State 列が緑色の UP になっていれば成功です。赤色の DOWN の場合は、host.docker.internal が解決できないケースがほとんどなので、後述の「よくあるエラーと解決策」を参照してください。

ステップ 4：Grafana でダッシュボードを作る

Grafana も Docker で起動します。

docker run -d \
  --name grafana \
  -p 3000:3000 \
  -e "GF_SECURITY_ADMIN_PASSWORD=admin" \
  grafana/grafana:latest

ブラウザで http://localhost:3000 を開き、ユーザー名 admin、パスワード admin でログインします。初回ログイン時にパスワード変更を求められますが、テスト用途なら「Skip」で問題ありません。

ログイン後、画面左の歯車アイコン → Data Sources → Add data source → Prometheus を選び、URL に http://host.docker.internal:9090 を入力して Save & test をクリックします。「Data source is working」と緑のトーストが表示されれば接続成功です。

続いて、左メニューの「+」 → Dashboard → Add visualization を選び、下記の PromQL を貼り付けます。

sum by (model) (holysheep_api_cost_cents_total)

右側の設定パネルで「Panel options」の Title を「モデル別累積コスト（セント）」に変更し、Visualization を Time series から Stat に切り替えると、4 つのモデルの現在累計コストが大きな数字で表示されます。私の環境では、開始から 10 分で DeepSeek V3.2 が 0.04 セント、GPT-4.1 が 0.18 セント、Claude Sonnet 4.5 が 0.45 セント、Gemini