Tôi đã dành sáu tháng qua để vận hành một cụm suy luận LLM 48 GPU phân tán trên ba trung tâm dữ liệu ở Hà Nội, Frankfurt và Singapore. Trong quá trình đó, tôi nhận ra rằng vấn đề đau đầu nhất không phải là throughput hay memory footprint, mà là khám phá nút (node discovery) khi một worker chết đột ngột, khi traffic spike, hoặc khi một vùng mạng bị phân vùng. Bài viết này chia sẻ kinh nghiệm thực chiến khi tôi tích hợp iroh — một giao thức khám phá nút dạng mesh — vào hạ tầng, đồng thời phân tích những hàm ý sâu sắc của nó đối với kiến trúc API Gateway tập trung truyền thống mà chúng ta vẫn dùng hàng ngày (kể cả khi gọi qua Đăng ký tại đây để dùng các model như DeepSeek V3.2 với giá 0.42 USD/MTok).
1. Bối cảnh: Vì sao mesh LLM lại quan trọng?
API Gateway tập trung (Centralized API Gateway) hoạt động theo mô hình client → edge LB → gateway cluster → upstream LLM provider. Ưu điểm là đơn giản, nhưng nhược điểm chí mạng là single point of failure, độ trễ tăng theo khoảng cách địa lý, và chi phí CDN/egress. Mesh LLM với iroh đảo ngược mô hình: mỗi node vừa là client vừa là server, khám phá lẫn nhau qua một Relay-based discovery với QUIC, NAT traversal tự động, và capability gossip.
Trong benchmark nội bộ của tôi (cụm 48× A100, prompt trung bình 1.2k token, output 380 token), mesh iroh đạt được:
- P50 latency: 47ms cho node discovery trong cùng vùng (so với 120ms của centralized registry)
- P99 latency: 182ms khi cross-region fallback
- Success rate: 99.74% trong 7 ngày liên tục với 12 lần mô phỏng node crash
- Throughput: 847 request/giây/node ở concurrency=64
Để so sánh, HolySheep AI cam kết độ trễ dưới 50ms cho cùng workload, đạt được nhờ peering trực tiếp với các model provider châu Á — một con số gần như không thể nếu chỉ dùng API Gateway truyền thống ở Mỹ/Âu.