Nếu bạn đang cân nhắc xây dựng hệ thống streaming cho Gemini 2.5 Pro mà cứ bị Google trả về mã 429 "Resource Exhausted" sau mỗi 2-3 phút, thì đây là kết luận ngắn trước khi bạn đọc tiếp: đừng vội nâng cấp gói Google Cloud, hãy tự cài một hàng đợi Token Bucket ngay trước cổng API. Và nếu bạn muốn vừa tiết kiệm 85% chi phí, vừa có endpoint phản hồi dưới 50ms, thì đăng ký HolySheep AI tại đây rồi quay lại đọc tiếp - phần code bên dưới mình sẽ dùng luôn endpoint của họ làm ví dụ chạy được ngay.
Cá nhân mình - tác giả bài này - đã đốt khoảng $240 trong hai tháng test Gemini 2.5 Pro streaming trên một dự án chatbot nội bộ phục