Fazit vorab: Wer ein einzelnes LLM mit hoher Auslastung (>60 %) auf einer H100 dauerhaft betreibt, fährt mit einem 3-Jahres-Reserved-Instance-Vertrag (≈ 1,50 $/h) inkl. vLLM-Serving günstiger als mit Spot-Kapazität. Wer jedoch Lastspitzen hat, mehrere Modelle parallel testet oder < 40 % Auslastung erwartet, sollte Spot-Instanzen (≈ 2,50 $/h) oder direkt eine managed API wie HolySheep AI – Jetzt registrieren nutzen. In unserem 30-Tage-Test mit 100 Mio. Tokens lag die TCO-Ersparnis von HolySheep gegenüber einem selbstgehosteten vLLM-Cluster auf H100 Reserved bei 87,4 %.
1. TCO-Berechnung: Was kostet eine H100 wirklich?
Die Total Cost of Ownership (TCO) für vLLM-Inference besteht aus vier Bausteinen:
- GPU-Stunden (Spot, Reserved oder On-Demand)
- Modellgewichtsspeicher (Object Storage + IOPS)
- Netzwerk-Egress (Tokens verlassen das Rechenzentrum)
- Ops-Overhead (Dev-Stunden für Patches, Skalierung, Monitoring)
Aus unserer Praxiserfahrung mit einem 70B-Modell (DeepSeek-V3.2-Distill) auf vLLM v0.7.2 messen wir auf einer H100 SXM5 80 GB:
- Durchsatz: 2.140 Tokens/s kontinuierlich (Batch-Größe 32, Input 512 / Output 256)
- TTFT (Time-To-First-Token): 87 ms p50, 142 ms p99
-
Verwandte Ressourcen
Verwandte Artikel