Đêm đó tôi đang chạy một pipeline DeerFlow-style với 5 agent song song — Planner, Coder, Researcher, Reviewer và Executor — thì terminal bỗng hiện ra một cơn mưa lỗi: ConnectionError: HTTPSConnectionPool(host='api.openai.com', port=443): Read timed out. Ban đầu tôi nghĩ là vấn đề mạng, nhưng khi đào sâu vào log thì thấy dòng 429 Too Many Requests lặp đi lặp lại trên 3 trong 5 agent, kèm theo insufficient_quota trên agent thứ tư. Đó chính là lúc tôi hiểu rằng vấn đề không nằm ở prompt hay code, mà ở chiến lược giới hạn tốc độ (rate limit), billing tập trung và retry thông minh giữa các nhà cung cấp. Trong bài viết này, tôi sẽ chia sẻ lại kinh nghiệm thực chiến khi kết hợp Cline + MCP + gateway của Đăng ký tại đây để xây dựng hệ thống đa agent ổn định, tiết kiệm hơn 85% chi phí so với gọi trực tiếp OpenAI hay Anthropic.

Bối cảnh: DeerFlow là gì và tại sao cần gateway?

DeerFlow là một framework điều phối multi-agent theo phong cách "supervisor-worker" — một Planner tổng quản sẽ giao nhiệm vụ cho hàng loạt agent con (research, code, review) chạy song song và bất đồng bộ. Khi nhân rộng lên 5-10 agent, các vấn đề cốt lõi bạn sẽ đối mặt là: