Khi mình bắt đầu xây dựng hệ thống agent cho team nội bộ vào quý trước, vấn đề lớn nhất không phải prompt hay RAG — mà là chi phí và độ ổn định. Chúng tôi đốt khoảng 2.300 USD mỗi tháng chỉ để chạy một luồng xử lý tài liệu có GPT-4o, và cứ 2 ngày lại có một lần timeout khiến cả pipeline dừng. Bài viết này kể lại toàn bộ playbook di chuyển sang Đăng ký tại đây với HolySheep: từ lý do bỏ relay cũ, cách cấu hình dynamic base_url trong LangChain, cho tới chiến lược fallback đa mô hình. Mục tiêu cuối cùng là cắt giảm 85% chi phí, giữ độ trễ dưới 50ms và có kế hoạch rollback rõ ràng.

Vì sao chúng tôi rời bỏ API chính hãng và relay cũ