Mùa sale 11/11 năm ngoái, tôi được giao nhiệm vụ xây dựng hệ thống CSKH AI cho một sàn thương mại điện tử tầm trung với hơn 40.000 đơn hàng/ngày. Vấn đề đau đầu nhất không phải là model nào tốt nhất, mà là: "Sáng dùng GPT-4.1 để phân tích sentiment khiếu nại, trưa dùng Claude Sonnet 4.5 để viết phản hồi tự nhiên, tối dùng DeepSeek V3.2 để xử lý batch FAQ — mỗi model một API key, một SDK, một format error khác nhau."
Đến cuối tuần thứ hai, tôi có 4 file xử lý lỗi, 3 cách retry khác nhau, và hơn 1.200 dòng code glue cho mỗi lần đổi nhà cung cấp. Đó là lúc tôi chuyển sang LiteLLM — và cuộc đời tôi thay đổi luôn từ hôm đó. Bài viết này chia sẻ lại toàn bộ best-practice tôi đã đúc rút.
1. LiteLLM Là Gì Và Vì Sao Developer Nên Quan Tâm?
LiteLLM là một thư viện Python mã nguồn mở (hơn 28k sao GitHub) hoạt động như một "lớp adapter" thống nhất — chuyển đổi các API của OpenAI, Anthropic, Google, Bedrock, v.v. sang một schema duy nhất. Bạn viết code một lần, đổi model một dòng, không phải đụng vào logic nghiệp vụ.
Vai trò của nó tương tự SQLAlchemy trong thế giới cơ sở dữ liệu: che giấu sự phức tạp của các backend khác nhau phía sau một giao diện nhất quán.
2. Khi Nào Bạn Cần LiteLLM?
- Đang chạy production và muốn fallback model khi model chính quá tải hoặc vượt quota
- Team có nhu cầu A/B testing giữa nhiều model trên cùng một prompt
- Muốn tối ưu chi phí bằng cách route request rẻ tiền đến model giá rẻ (như Gemini 2.5 Flash $2.50/MTok hoặc DeepSeek V3.2 $0.42/MTok)
- Đã dùng OpenAI SDK và muốn mở rộng sang Anthropic/Google mà không viết lại code
- Triển khai RAG doanh nghiệp nhiều tenant với policy model khác nhau
3. Cài Đặt Và Cấu Hình Nhanh
# Cài đặt LiteLLM (Python 3.9+)
pip install litellm[proxy] fastapi uvicorn
Tạo file config.yaml
cat > litellm_config.yaml << 'EOF'
model_list:
# Model chính cho tác vụ phức tạp
- model_name: gpt-4.1
litellm_params:
model: openai/gpt-4.1
api_base: https://api.holysheep.ai/v1
api_key: YOUR_HOLYSHEEP_API_KEY
# Model phụ cho tác vụ đàm thoại tự nhiên
- model_name: claude-sonnet-4.5
litellm_params:
model: anthropic/claude-sonnet-4-5
api_base: https://api.holysheep.ai/v1
api_key: YOUR_HOLYSHEep_API_KEY
# Model rẻ tiền cho batch xử lý
- model_name: deepseek-v3.2
litellm_params:
model: deepseek/deepseek-v3.2
api_base: https://api.holysheep.ai/v1
api_key: YOUR_HOLYSHEEP_API_KEY
# Model tốc độ cao cho realtime
- model_name: gem