Si vous avez déjà essayé d'exécuter un Llama 3.1 70B, un Qwen2.5 32B ou un Mistral Large sur votre infrastructure, vous êtes tombé sur l'épineuse question : GGUF, GPTQ ou AWQ ? Derrière ces trois acronymes se cachent trois philosophies de quantification qui conditionnent votre latence, votre coût GPU et même la qualité de vos réponses. Ce guide compare ces formats sur des benchmarks réels et montre comment une scale-up SaaS parisienne a arrêté de se battre avec ses fichiers .bin pour passer à une inférence managée sur HolySheep AI, en divisant sa facture par 6.
Étude de cas : DataMind, la scale-up SaaS parisienne qui a divisé sa facture GPU par 6
DataMind, une scale-up B2B parisienne (que j'accompagne depuis 18 mois en tant que consultant IA), propose un copilote pour analystes financiers. Leur stack initiale : vLLM self-hosted sur 4× A100 80 Go chez un cloud provider français, facturé 1,89 $/h par GPU. Trois problèmes concrets les rongeaient :
- Douleur n°1 — le « format piège » : leur équipe ML passait 30 % de son temps à convertir des modèles (Llama → GGUF pour le dev, GPTQ pour la prod, AWQ pour les tests qualité) sans qu'aucun benchmark interne ne tranche.
- Douleur n°2 — latence instable : 420 ms en p95, avec des pics P99 à 1,1 s qui faisaient fuir les utilisateurs de leur chat analytique.
- Douleur n°3 — explosion de la facture : 4 200 $/mois de compute, plus 1 800 $/mois d'ingénieur ML à temps partiel = 6 000 $/mois pour servir 28 millions de tokens/jour.
La bascule vers HolySheep a suivi ce déroulé : (1) prototype sur crédits offerts, (2) shadow traffic en canari 10 %, (3) bascule 100 % après 7 jours, (4) résiliation de 3 des 4 A100. À 30 jours : latence p95 passée de 420 ms à 180 ms, facture mensuelle de 4 200 $ à 680 $ (tokens + abonnement Pro), uptime 99,97 %.
GGUF, GPTQ, AWQ : les 3 philosophies de quantification expliquées
La quantification consiste à représenter les poids d'un modèle avec moins de bits (souvent 4 au lieu de 16). Mais comment on y arrive change tout : vitesse, compatibilité matérielle et qualité finale.
GGUF (GPT-Generated Unified Format)
Issu de llama.cpp, c'est le format roi du CPU et du Mac Apple Silicon. Il supporte des quantifications hybrides (Q2_K, Q3_K_M, Q4_K_M, Q5_K_M, Q6_K, Q8_0) où chaque couche peut avoir un schéma différent. Avantage clé : un seul fichier de 38 Go tient sur un MacBook M3 64 Go. Inconvénient : sur GPU datacenter (H100, A100), il est 2 à 4× plus lent qu'un GPTQ/AWQ équivalent.
GPTQ (GPT Quantization)
Algorithme post-training basé sur une optimisation du second ordre (Hessian) qui minimise l'erreur de reconstruction couche par couche. C'est le format historique du GPU Nvidia : il s'appuie sur des kernels CUDA dédiés (exllama, exllamav2, marlin) et offre un excellent débit sur A100/H100. Limite : à 4 bits, on perd parfois 1 à 2 points de MMLU face à AWQ.