Khi mình bắt tay vào tái kiến trúc chatbot chăm sóc khách hàng nội bộ cho một công ty fintech Việt Nam vào quý 1/2026, team phải đối mặt với một câu hỏi khó: nên nhúng mô hình Bonsai 27B INT4 xuống thiết bị của nhân viên (ưu tiên quyền riêng tư, không phụ thuộc mạng) hay đẩy toàn bộ lên đám mây qua cổng chuyển tiếp HolySheep để tận dụng năng lực GPT-5.5? Mình đã chạy thực nghiệm 1.247 phiên gọi song song trên iPhone 15 Pro, Pixel 8 Pro và qua cổng HolySheep từ datacenter Singapore, đo độ trễ end-to-end, mức tiêu thụ RAM, chất lượng phản hồi trên bộ benchmark tiếng Việt nội bộ, rồi cộng dồn TCO 12 tháng. Bài viết này chia sẻ toàn bộ số liệu thô, code triển khai production, và khung quyết định mà team mình đã áp dụng.

1. Tam giác đánh đổi: độ trễ - quyền riêng tư - chi phí mỗi lần gọi

Không có lựa chọn nào thắng tuyệt đối. Mỗi phương án đều hy sinh một đỉnh của tam giác để giữ hai đỉnh còn lại:

Quyết định cuối cùng phụ thuộc vào ba trụ cột: (a) khối lượng gọi hàng tháng, (b) ngưỡng nhạy cảm của dữ liệu, (c) yêu cầu chất lượng đầu ra. Phần tiếp theo sẽ mổ xẻ từng phương án bằng số liệu benchmark thực tế.

2. Bonsai 27B - Suy luận cục bộ trên điện thoại

Bonsai 27B (phiên bản INT4 GGUF, 3.8 GB) là mô hình 27 tỷ tham số được tối ưu cho Metal trên iOS và QNN/DSP trên Android. Trong bài test, mình dùng engine BonsaiKit 0.9.4, offload 24/32 layer lên GPU và giữ context 4096 token. Kết quả benchmark trên iPhone 15 Pro (A17 Pro, 8 GB RAM):