Tôi đã vận hành pipeline LLM đa mô hình cho hệ thống CSKH xử lý 2,3 triệu phiên/tháng từ tháng 3/2025. Bài viết này là bản tóm tắt thực chiến về cách tôi kết hợp LangChain với gateway HolySheep AI để định tuyến thông minh giữa GPT-5.5, Claude Opus 4.7 và Gemini 2.5 Pro, giữ chi phí ổn định quanh $1.180/tháng thay vì $8.400 nếu đi trực tiếp OpenAI với cùng một khối lượng request. Mọi con số trong bài đều lấy từ dashboard thực tế của tôi.
1. Kiến trúc định tuyến 4 lớp
Hệ thống của tôi chia làm 4 lớp rõ ràng. Lớp Router dùng LLMRouterChain phân loại ý định dựa trên embedding. Lớp Selector chọn model dựa trên 3 tiêu chí: độ phức tạp task (đo bằng số token suy luận), ngân sách còn lại trong ngày, và độ trễ SLO. Lớp Executor gọi model qua ChatLiteLLM trỏ