Câu chuyện thực chiến: Từ 420ms xuống 180ms, từ $4.200 xuống $680 mỗi tháng

Mình — tác giả blog kỹ thuật tại HolySheep AI — vẫn nhớ cuộc gọi lúc 23h47 đêm đó. Một startup AI ở Hà Nội (mình xin phép ẩn danh, gọi tạm là "Hanoi-AI") gọi đến hotline khẩn cấp: hệ thống chăm sóc khách hàng đa tác nhân của họ đang cháy. Họ vận hành một đội gồm 60 agent LLM phối hợp để xử lý đơn hàng, hoàn tiền và tư vấn bảo hành. Vấn đề không nằm ở prompt hay model — vấn đề là nhà cung cấp cũ đang bóp băng thông và tính phí theo token đầu vào ở mức $8/MToken cho GPT-4.1 và $15/MToken cho Claude Sonnet 4.5.

Bối cảnh kinh doanh: Hanoi-AI phục vụ 40.000 khách hàng B2C mỗi tháng với 18.000 phiên hội thoại đa lượt. Mỗi phiên cần trung bình 4 sub-agent (intent detection, slot filling, knowledge retrieval, response generation), tức khoảng 72.000 lượt gọi LLM/tháng. Đội ngũ kỹ thuật ghi nhận: