Sáu tháng trước, tôi nhận một dự án fintech ở TP.HCM cần triển khai hệ thống agent xử lý 50.000 yêu cầu/ngày với 8 loại skill khác nhau (phân tích báo cáo tài chính, trích xuất bảng biểu, tóm tắt cuộc gọi thoại, OCR hóa đơn, v.v.). Bài toán đặt ra: mỗi skill cần một model khác nhau để tối ưu chi phí — Claude Sonnet 4.5 cho phân tích dài hạn, DeepSeek V3.2 cho trích xuất bảng biểu tiếng Việt, GPT-4.1 cho luồng reasoning phức tạp, Gemini 2.5 Flash cho vision pipeline. Tôi đã xây dựng một skill routing gateway kết hợp Dify làm orchestration layer và MCP (Model Context Protocol) làm skill protocol, với HolySheep AI làm unified API gateway. Kết quả thực tế: chi phí token giảm 85% so với single-model approach, độ trễ trung bình 38ms, tỷ lệ thành công 99.7% trên production load 1.247 RPS.

1. Kiến trúc tổng quan

Hệ thống gồm 4 lớp: