Sie wollen KI-Modelle wie GPT oder DeepSeek betreiben, wissen aber nicht, ob Sie eine NVIDIA H100, eine H200 oder gleich eine Cloud-API mieten sollen? In diesem Tutorial zeige ich Ihnen Schritt für Schritt, wie Sie die wirtschaftlichste Entscheidung treffen — ganz ohne Vorwissen, ohne Fachchinesisch, ohne Stolperfallen.
📸 Screenshot-Tipp: Öffnen Sie https://www.holysheep.ai/register/register neben diesem Tutorial, um die Schritte direkt mitzumachen.
1. Was bedeutet "GPU-Inferenz" überhaupt?
Stellen Sie sich eine GPU (Grafikprozessor) wie eine Hochleistungs-Druckmaschine vor. Inferenz bedeutet: Sie geben ihr einen Text, und sie druckt die Antwort aus. Je schneller die Maschine druckt, desto mehr Texte (sogenannte Tokens) bekommen Sie pro Stunde — und desto günstiger wird jedes einzelne Token.
Die beiden aktuell wichtigsten GPUs für diesen Job heißen H100 und H200, beide von NVIDIA. Wir schauen uns an, welche mehr Token pro Dollar liefert.
2. H100 vs. H200: Technischer Vergleich
| Merkmal | NVIDIA H100 | NVIDIA H200 |
|---|---|---|
| Speicher | 80 GB HBM3 | 141 GB HBM3e |
| Speicherbandbreite | 3,35 TB/s | 4,80 TB/s |
| FP8-Rechenleistung | 1.979 TFLOPS | 3.958 TFLOPS |
| LLM-Inferenz-Durchsatz (Llama-70B) | ~15.000 Token/s | ~30.000 Token/s |
| Stündlicher Cloud-Preis (typisch) | ~2,50 $/h | ~4,00 $/h |
| Anschaffungskosten (neu, 2025) | ~30.000 $ | ~40.000 $ |
| Stromverbrauch (nur Karte) | 700 W | 700 W |
Quellen: NVIDIA-Datenblätter 2024/2025, Lambda-Labs-Preisliste, eigene Messungen.
3. Token-pro-Dollar-Berechnung — Schritt für Schritt
Wer wirklich sparen will, rechnet Tokens pro Dollar aus. So geht's:
3.1 Selbst-Hosting (Sie mieten die GPU pro Stunde)
- H100: 2,50 $/h × 730 h/Monat = 1.825 $/Monat
- Durchsatz: 15.000 Token/s × 3.600 s × 730 h ≈ 39,42 Mrd. Token/Monat
- Kosten pro 1 Mio. Token: 1.825 $ ÷ 39.420 = ~0,0463 $ (4,63 ¢)
- H200: 4,00 $/h × 730 h/Monat = 2.920 $/Monat
- Durchsatz: 30.000 Token/s × 3.600 s × 730 h ≈ 78,84 Mrd. Token/Monat
- Kosten pro 1 Mio. Token: 2.920 $ ÷ 78.840 = <
Verwandte Ressourcen
Verwandte Artikel