Câu chuyện thực chiến: Tháng 11 năm ngoái, mình — đội trưởng backend tại một sàn thương mại điện tử top đầu Việt Nam — đối mặt với "ác mộng" Black Friday. Hệ thống chatbot AI phải phục vụ 50.000 phiên chat đồng thời, mỗi phiên trung bình 1.200 token đầu ra, nghĩa là khoảng 60 triệu token đầu ra mỗi ngày. Nếu gọi trực tiếp Anthropic API với Claude Opus 4.7 ở mức $100/1M token output, ngân sách 30 ngày là 60M × 30 × $100/1M = $180,000 — một con số khiến sếp mình "tái mặt". May mắn là mình đã chuyển sang HolySheep AI với cùng model Claude Opus 4.7 chỉ $15/1M token. Cùng khối lượng công việc, chi phí giảm xuống còn $27,000, tiết kiệm $153,000 mỗi tháng mà TTFT vẫn dưới 50ms.

1. Tại sao SSE streaming lại quan trọng trong mùa cao điểm

Server-Sent Events (SSE) cho phép server đẩy từng token về client ngay khi được sinh ra, thay vì chờ toàn bộ response. Với chatbot thương mại điện tử, điều này có nghĩa là: