Hôm qua mình vừa debug xong hệ thống RAG doanh nghiệp cho một khách hàng fintech, và phát hiện ra rằng Tabby self-host dù miễn phí nhưng lại đang là điểm nghẽn lớn nhất trong pipeline. Một mặt, GPU trên con MacBook M2 Pro của mình quá nóng khi chạy Tabby 7B song song với indexer; mặt khác, các review code từ Tabby chỉ đạt 67% acceptance rate — quá thấp để đưa vào production. Sau 4 tiếng đau đầu với config.yaml, mình quyết định "thay thế Tabby" bằng cách trỏ Continue.dev sang Tài nguyên liên quan
Bài viết liên quan