Sáu tháng trước, tôi dành cả tuần để chạy pipeline RAG mẫu trong repo claude-cookbooks của Anthropic cho hệ thống hỏi-đáp nội bộ của một công ty fintech tại TP. HCM. Mọi thứ chạy ổn cho tới khi sếp hỏi: "Tại sao hoá đơn cuối tháng lên tới $1.820 chỉ cho 95 triệu token output?" Câu hỏi đó buộc tôi phải đo lại toàn bộ chi phí, độ trễ, tỷ lệ thành công và trải nghiệm bảng điều khiển của bốn trạm trung chuyển khác nhau. Bài viết này là kết quả thực chiến của tôi, đặc biệt là khi đối chiếu Opus 4.7 output $15/M token chính hãng với mức 3折 (tức 30% giá gốc) qua HolySheep - xem chi tiết Đăng ký tại đây.
1. Tại sao tôi bắt buộc phải rời trạm cũ
Repo claude-cookbooks cung cấp sẵn notebook retrieval_augmented_generation.ipynb mà cộng đồng AI Việt Nam hay fork về.