Sáu tháng trước, tôi bắt tay vào triển khai hệ thống đa Agent cho một nền tảng dịch vụ khách hàng tài chính. Kiến trúc dựa trên TencentDB-Agent-Memory — một framework cho phép nhiều Agent chia sẻ ngữ cảnh, lưu trữ bộ nhớ dài hạn vào cơ sở dữ liệu Tencent Cloud và phối hợp thông qua bộ nhớ chung. Bài toán lớn nhất không phải framework, mà là chọn LLM API Gateway sao cho tối ưu chi phí, độ trễ và độ tin cậy khi mỗi Agent có thể gọi tới 4-6 mô hình khác nhau. Bài viết này chia sẻ kinh nghiệm thực chiến của tôi, kèm bảng so sánh 5 tiêu chí và mã nguồn có thể chạy ngay.
1. Hiểu nhanh về TencentDB-Agent-Memory
TencentDB-Agent-Memory là một lớp trung gian cho phép các Agent:
- Lưu trữ trạng thái hội thoại vào cơ sở dữ liệu quan hệ (MySQL/TDSQL).
- Truy xuất ngữ cảnh theo vector và theo khóa.
- Phối hợp đa Agent thông qua bộ nhớ chia sẻ (shared memory pool).
- Hỗ trợ checkpoint/restore để xử lý lỗi giữa chừng.
2. Tiêu chí đánh giá LLM API Gateway
Sau nhiều vòng benchmark nội bộ, tôi chốt 5 tiêu chí:
- Độ trễ P95 (ms): ảnh hưởng trực tiếp tới trải nghiệm Agent.
- Tỷ lệ thành công (%): đặc biệt quan trọng với Agent chain dài 4-6 bước.
- Độ phủ mô hình: càng nhiều mô hình càng dễ tối ưu chi phí.
- Tiện lợi thanh toán: ảnh hưởng tới