Sáu tháng trước, tôi được giao nhiệm vụ thay thế toàn bộ pipeline inference cho hệ thống chatbot phục vụ 2,3 triệu request/ngày tại một ngân hàng Tier-1. Stack cũ dùng Claude Sonnet qua AWS, chi phí đang đốt $180.000 mỗi tháng và p95 latency chạm 1,4 giây — không thể chấp nhận được với use-case CSKH thời gian thực. Sau 11 tuần benchmark và 4 đợt load-test, tôi đã chuyển sang MiniMax M2.7 thông qua gateway Tài nguyên liên quan
Bài viết liên quan