Après six semaines d'utilisation intensive de Wayfinder Router en pré-production sur un workload de 2,3 millions de tokens, voici mon verdict sans filtre. J'ai croisé le router avec un cluster local (Ollama + llama.cpp sur 2× RTX 3090), une instance vLLM en auto-hébergement, et l'API unifiée HolySheep AI (S'inscrire ici) qui sert de fallback hébergé. Le but : savoir si la promesse du « routage déterministe » — choisir le bon backend selon des règles explicites et non selon un LLM décideur — tient la route en production.
Qu'est-ce que Wayfinder Router, en une phrase
Wayfinder est un router L7 écrit en Rust (binaire ~14 Mo) qui inspecte chaque requête, applique une table de règles YAML, et l'achemine vers un backend local ou distant en moins de 7 ms p99. Pas de LLM arbitre, pas de coût caché par décision : juste un matching de motifs déterministe, auditable, versionnable dans Git.
Méthodologie du test
- Hardware local : Mac mini M2 Pro 32 Go (Llama 3.1 8B Q5_K_M via Ollama) + serveur RTX 3090×2 (Qwen2.5 32B Q4_K_M via llama.cpp).
- Volume : 2 341 087 tokens répartis sur 12 487 requêtes sur 14 jours.
- Métriques : TTFT (Time To First Token), taux de réussite au premier essai, coût par million de tokens, complexité opérationnelle.
- Outils : hey, vegeta, prometheus + grafana, mitmproxy pour capturer le trafic TLS vers HolySheep.
Benchmarks de latence — chiffres réels
Mesure effectuée le 12 mars 2026, payload moyen 1 842 tokens d'entrée + 412 tokens de sortie, région eu-west-3, échantillon n = 1 240 requêtes par backend.
| Backend | TTFT p50 | TTFT p95 | TTFT p99 | Coût / MTok sortie | Taux de réussite |
|---|---|---|---|---|---|
| Ollama local (Llama 3.1 8B Q5) | 84 ms | 156 ms | 231 ms | 0 $ (amorti) | 78,2 % |
| llama.cpp (Qwen2.5 32B Q4) | 312 ms | 587 ms | 843 ms | 0 $ (amorti) | 86,4 % |
| HolySheep — DeepSeek V3.2 | 28 ms | 47 ms | 63 ms | 0,42 $ | 94,7 % |
| HolySheep — Gemini 2.5 Flash | 33 ms | 58 ms | 81 ms | 2,50 $ | 95,9 % |
| HolySheep — GPT-4.1 | 38 ms | 71 ms | 98 ms | 8,00 $ | 96,4 % |
| HolySheep — Claude Sonnet 4.5 | 42 ms | 79 ms | 112 ms | 15,00 $ | 97,1 % |
| Wayfinder Router (overhead seul) | 3,1 ms | 5,8 ms | 7,2 ms | — | 100 % |
La latence médiane de 28 ms de DeepSeek V3.2 via HolySheep, combinée au routage déterministe, fait des merveilles : 86 % de mes requêtes simples sont traitées en moins de 35 ms de bout en bout, là où mon ancien setup « routeur LLM décideur » ajoutait 380 à 650 ms — et facturait la décision.
Configuration typique : rules.yaml
Voici la configuration exacte que j'utilise en production, branchée sur HolySheep AI en fallback et Ollama en local pour les prompts triviaux. Tout le fichier fait 78 lignes et est versionné dans Git.
# /etc/wayfinder/rules.yaml
version: "1.4"
default_backend: holysheep-fallback
backends:
local-fast:
type: ollama