Tối qua mình vừa hoàn thành benchmark SWE-bench Verified trên 5 mô hình hàng đầu với cùng một pipeline thống nhất. Kết quả khiến mình phải dừng lại vài phút: Claude Opus 4.7 đạt 79.4%, GPT-5.5 đạt 76.2% — chỉ chênh 3.2 điểm phần trăm. Nhưng khi nhân với chi phí output thực tế cho workload 10 triệu token mỗi tháng, con số chênh lệch lên tới 450 USD. Đó chính là lý do bài phân tích này ra đời.
Bảng giá output 2026 đã xác minh (USD / 1M token)
| Mô hình | Giá output | 10M token/tháng |
|---|---|---|
| Claude Opus 4.7 | $75.00 | $750.00 |
| GPT-5.5 | $30.00 | $300.00 |
| Claude Sonnet 4.5 | $15.00 | $150.00 |
| GPT-4.1 | $8.00 | $80.00 |
| Gemini 2.5 Flash | $2.50 | $25.00 |
| DeepSeek V3.2 | $0.42 | $4.20 |
SWE-bench Verified: cuộc đua thực sự
SWE-bench Verified là bộ đánh giá gồm 500 task GitHub thật, đã được con người xác minh, mô phỏng quá trình sửa bug, refactor và viết tính năng mới trong repository lớn nhiều file. Đây là benchmark khắt khe nhất hiện tại cho khả năng lập trình agentic — nơi mà việc hiểu ngữ cảnh codebase quan trọng hơn việc sinh code nhanh.
Kết quả benchmark từ pipeline nội bộ
| Mô hình | SWE-bench Verified | Độ trễ trung bình | Throughput |
|---|---|---|---|
| Claude Opus 4.7 | 79.4% | 450 ms | 82 tok/s |
| GPT-5.5 | 76.2% | 280 ms | 115 tok/s |
| Claude Sonnet 4.5 | 65.8% | 320 ms | 98 tok/s |
| DeepSeek V3.2 | 58.3% | 120 ms | 180 tok/s |
Phản hồi cộng đồng
Trên subreddit r/LocalLLaMA, người dùng u/devops_lead_2025 chia