Es ist Montagmorgen, 9:14 Uhr. Ihr Inferenz-Cluster für ein 70B-Sprachmodell läuft seit drei Stunden auf selbst gemieteten H100-Karten — und plötzlich platzt die Pipeline:
requests.exceptions.ConnectionError: HTTPSConnectionPool(host='10.0.0.42', port=8080):
Max retries exceeded with url: /v1/completions
(Caused by NewConnectionError('<urllib3.connection.HTTPSConnection object at 0x7f>:
Failed to establish a new connection: [Errno 111] Connection refused'))
RuntimeError: CUDA out of memory. Tried to allocate 2.00 GiB
(GPU 0; 79.35 GiB total capacity; 76.12 GiB already allocated)Was wie ein simpler Netzwerkfehler aussieht, ist meist ein verstecktes Kostenproblem: Drei Stunden H100-Miete zu $2,50/h, dazu 18.000 Tokens/s unter Last — am Monatsende steht eine Rechnung von $1.800 für gerade einmal 12 Millionen Tokens Output. Zeit, das Thema Token-Preis pro GPU-Stunde systematisch zu analysieren und gegen API-basierte Alternativen aufzurechnen.
1. H100 vs. H200: Roh-Mietpreise 2026 im Überblick
Auf den großen Marktplätzen für GPU-Miete haben sich die Spot-Preise 2026 wie folgt eingependelt (On-Demand, ohne Jahres-Commitment, Stand Q1 2026):
- NVIDIA H100 80GB SXM5: $2,00 – $4,00/Stunde (Lambda Labs, Vast.ai, RunPod, Fluidstack)
- NVIDIA H200 141GB SXM5: $3,20 – $5,80/Stunde (CoreWeave, Lambda Labs, Crusoe) — ~+25 % Durchsatz dank 4,8 TB/s HBM3e
- NVIDIA H100 PCIe 80GB: $1,80 – $3,50/Stunde (günstigere Alternative, ~15 % weniger Tokens/s)
- Reserved H100 1-Monats-Vertrag: ab $1,55/Stunde (Lambda Labs, CoreWeave)
Community-Feedback: Auf r/MachineLearning (Thread „H100 vs H200 cost-per-token 2026", +487 Upvotes) berichtet ein Nutzer von gemessenen 42.000 Tokens/s mit vLLM auf einer einzelnen H100 SXM für Llama-3-70B (FP16, batch size 32, context 4k). Das entspricht einer Rohkostenbasis von $0,0165 pro 1 Million Tokens allein für Compute ($2,50/h ÷ 42.000 tok/s ÷ 3.600).
2. Die Token-Kostenformel — Schritt für Schritt
Die Berechnung des effektiven Token-Preises bei GPU-Eigenmiete folgt dieser reproduzierbaren Formel:
def cost_per_million_tokens(
hourly_rate_usd: float, # GPU-Mietpreis pro Stunde
tokens_per_second: float, # gemessener Inferenz-Durchsatz
utilization: float = 0.65, # realistische Cluster-Auslastung
overhead_multiplier: float = 2.0, # Storage, Netzwerk, Strom, Ops
) -> float:
"""Berechnet die all-in Kosten pro 1M Output-Tokens in USD."""
effective_throughput = tokens_per_second * utilization
tokens_per_hour = effective_throughput * 3600
raw_cost = (hourly_rate_usd / tokens_per_hour) * 1_000_000
return round(raw_cost * overhead_multiplier, 4)
Beispielrechnung H100 + Llama-3-70B (vLLM, FP16)
h100_all_in = cost_per_million_tokens(2.50, 42_000)
print(f"H100 80GB SXM all-in: ${h100_all_in}/MTok")
H200 mit +25 % Memory-Bandwidth → höherer Durchsatz
h200_all_in = cost_per_million_tokens
Verwandte Ressourcen
Verwandte Artikel