vLLM推理引擎部署配置教程：从小白到生产级推理服务

Bối cảnh thị trường 2026

Trước khi đi vào chi tiết kỹ thuật, hãy cùng nhìn lại bức tranh chi phí LLM inference năm 2026. Dưới đây là bảng giá output token đã được xác minh từ các nhà cung cấp hàng đầu:

GPT-4.1: $8/MTok
Claude Sonnet 4.5: $15/MTok
Gemini 2.5 Flash: $2.50/MTok
DeepSeek V3.2: $0.42/MTok

So sánh chi phí cho 10 triệu token/tháng, rõ ràng thấy DeepSeek V3.2 tiết kiệm 95% so với Claude Sonnet 4.5 ($4.2 vs $150). Tuy nhiên, việc deploy model on-premise với vLLM có thể tiết kiệm thêm 80% chi phí nếu bạn có infra phù hợp. Bạn có thể trải nghiệm các model này ngay với chi phí cực thấp tại HolySheep AI — nơi tỷ giá ¥1=$1 và hỗ trợ WeChat/Alipay.

vLLM là gì và tại sao nên dùng

vLLM (Virtual Large Language Model) là inference engine mã nguồn mở được phát triển bởi UC Berkeley, nổi tiếng với tính năng PagedAttention giúp tối ưu VRAM một cách đáng kinh ngạc. So với Hugging Face Transformers thuần túy, vLLM đạt throughput cao hơn 24 lần và latency thấp hơn đáng kể.

Cài đặt môi trường

Yêu cầu hệ thống tối thiểu:

GPU: NVIDIA với CUDA capability ≥ 7.0 (V100, A100, H100, L40S)
RAM: ≥ 16GB system RAM
Disk: ≥ 100GB SSD
OS: Ubuntu 20.04 hoặc mới hơn

# Tạo môi trường conda
conda create -n vllm python=3.10 -y
conda activate vllm

Cài đặt vLLM từ PyPI
pip install vllm

Kiểm tra phiên bản
python -c "import vllm; print(vllm.__version__)"

# Hoặc cài đặt từ source để có hiệu suất tối ưu nhất
git clone https://github.com/vllm-project/vllm.git
cd vllm
pip install -e .

Kiểm tra GPU
nvidia-smi

Khởi chạy server vLLM

Cấu hình đơn giản nhất với model Hugging Face:

# Chạy vLLM server với Qwen2.5-7B
python -m vllm.entrypoints.openai.api_server \
    --model Qwen/Qwen2.5-7B-Instruct \
    --served-model-name qwen2.5-7b \
    --tensor-parallel-size 1 \
    --max-model-len 8192 \
    --port 8000 \
    --host 0.0.0.0

Với multi-GPU (2 GPU)
--tensor-parallel-size 2

Sau khi khởi chạy thành công, server sẽ listen tại http://0.0.0.0:8000. API endpoint tương thích OpenAI:

# Test với curl
curl http://localhost:8000/v1/models

Response mẫu:
{
  "object": "list",
  "data": [
    {
      "id": "qwen2.5-7b",
      "object": "model",
      "created": 1703000000,
      "owned_by": "system"
    }
  ]
}

Gọi chat completion
curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen2.5-7b",
    "messages": [{"role": "user", "content": "Xin chào"}],
    "max_tokens": 256,
    "temperature": 0.7
  }'

Tích hợp với client Python

Sử dụng OpenAI SDK như bình thường, chỉ cần đổi base_url:

from openai import OpenAI

Kết nối đến vLLM server local
client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="EMPTY"  # vLLM local không cần API key
)

response = client.chat.completions.create(
    model="qwen2.5-7b",
    messages=[
        {"role": "system", "content": "Bạn là trợ lý AI tiếng Việt"},
        {"role": "user", "content": "Giải thích về PagedAttention"}
    ],
    temperature=0.7,
    max_tokens=512
)

print(response.choices[0].message.content)

Cấu hình nâng cao cho production

1. Continuous Batching

Continuous batching cho phép xử lý multiple requests đồng thời, tăng throughput đáng kể:

python -m vllm.entrypoints.openai.api_server \
    --model Qwen/Qwen2.5-7B-Instruct \
    --enable-chunked-prefill \
    --max-num-batched-tokens 8192 \
    --max-num-seqs 256 \
    --gpu-memory-utilization 0.92 \
    --port 8000

Tham số quan trọng:

--enable-chunked-prefill: Chia nhỏ prefill phase để giảm waiting time
--max-num-batched-tokens: Số token tối đa trong 1 batch
--gpu-memory-utilization: Tỷ lệ GPU VRAM sử dụng (0.92 = 92%)

2. Tensor Parallelism cho model lớn

Với model > 70B params, cần sharding across multiple GPUs:

# 4x A100 80GB cho Llama-3.1-70B
python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Llama-3.1-70B-Instruct \
    --tensor-parallel-size 4 \
    --pipeline-parallel-size 1 \
    --max-model-len 4096 \
    --gpu-memory-utilization 0.90 \
    --port 8000

Hoặc dùng Ray cho distributed deployment
ray start --head --port 6379
python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Llama-3.1-70B-Instruct \
    --tensor-parallel-size 4 \
    --engine-use-ray

3. Quantization để tiết kiệm VRAM

# AWQ quantization (4-bit)
python -m vllm.entrypoints.openai.api_server \
    --model Qwen/Qwen2.5-72B-Instruct-AWQ \
    --quantization awq \
    --tensor-parallel-size 2 \
    --port 8000

GPTQ quantization
python -m vllm.entrypoints.openai.api_server \
    --model Qwen/Qwen2.5-72B-Instruct-GPTQ \
    --quantization gptq \
    --tensor-parallel-size 2

Monitoring và Optimization

Kiểm tra performance metrics:

# Metrics endpoint
curl http://localhost:8000/metrics

Python client theo dõi
import requests
import time

def get_metrics():
    resp = requests.get("http://localhost:8000/metrics")
    return resp.text

Parse Prometheus format metrics
metrics = get_metrics()
for line in metrics.split('\n'):
    if line.startswith('vllm:'):
        print(line)

Key metrics cần theo dõi:

vllm:num_requests_running: Số request đang xử lý
vllm:num_tokens_total: Tổng token đã xử lý
vllm:gpu_cache_usage_perc: Tỷ lệ sử dụng GPU cache

Kết nối với HolySheep AI API

Nếu bạn muốn trải nghiệm inference mà không cần quản lý infra, HolySheep AI cung cấp API endpoint tương thích OpenAI với latency trung bình <50ms và chi phí cực kỳ cạnh tranh:

# Kết nối đến HolySheep AI
from openai import OpenAI

client = OpenAI(
    base_url="https://api.holysheep.ai/v1",
    api_key="YOUR_HOLYSHEEP_API_KEY"  # Lấy key từ dashboard
)

Sử dụng DeepSeek V3.2 - chỉ $0.42/MTok
response = client.chat.completions.create(
    model="deepseek-v3.2",
    messages=[
        {"role": "user", "content": "Viết code Python để sort một list"}
    ],
    temperature=0.7,
    max_tokens=512
)

print(response.choices[0].message.content)

Hoặc dùng GPT-4.1 - $8/MTok
response = client.chat.completions.create(
    model="gpt-4.1",
    messages=[
        {"role": "user", "content": "Explain quantum entanglement"}
    ],
    max_tokens=256
)

print(response.choices[0].message.content)

So sánh chi phí 10 triệu token/tháng:

GPT-4.1: $80
Claude Sonnet 4.5: $150
DeepSeek V3.2: $4.20 (tiết kiệm 95%)

Lỗi thường gặp và cách khắc phục

1. CUDA Out of Memory (OOM)

Mô tả lỗi: Khi model quá lớn so với GPU VRAM hoặc batch size quá lớn. Nguyên nhân:

GPU memory utilization mặc định quá cao
KV cache không đủ cho concurrent requests
Model chưa được quantization

Giải pháp:

# Giảm gpu-memory-utilization xuống 0.8 (80%)
python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Llama-3.1-70B-Instruct \
    --tensor-parallel-size 4 \
    --gpu-memory-utilization 0.80 \
    --max-model-len 2048

Hoặc sử dụng quantization
python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Llama-3.1-70B-Instruct-Q4_K_M \
    --quantization fp8 \
    --tensor-parallel-size 2

2. Connection Refused khi gọi API

Mô tả lỗi: ConnectionRefusedError: [Errno 111] Connection refused Nguyên nhân:

Server chưa khởi chạy hoàn tất
Firewall chặn port
Sai host/port configuration

Giải pháp:

# Kiểm tra server đã chạy chưa
ps aux | grep vllm
netstat -tlnp | grep 8000

Start lại với bind đúng
python -m vllm.entrypoints.openai.api_server \
    --model Qwen/Qwen2.5-7B-Instruct \
    --host 0.0.0.0 \
    --port 8000

Test kết nối
curl http://localhost:8000/health

Nếu vẫn lỗi, kiểm tra firewall
sudo ufw allow 8000

3. Model Not Found hoặc Download Failed

Mô tả lỗi: HTTPError: 404 Client Error: Not Found hoặc lỗi download HuggingFace model. Nguyên nhân:

Tên model không đúng trên HuggingFace Hub
Chưa đăng nhập HuggingFace để access gated models
Disk space không đủ

Giải pháp:

# Đăng nhập HuggingFace để access gated models (Llama, Mistral, etc.)
huggingface-cli login
Hoặc set token trong environment
export HF_TOKEN="your-huggingface-token"

Hoặc tải model về local trước
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id="meta-llama/Llama-3.1-8B-Instruct",
    local_dir="/models/llama-3.1-8b"
)

Sau đó chạy với local path
python -m vllm.entrypoints.openai.api_server \
    --model /models/llama-3.1-8b \
    --tokenizer /models/llama-3.1-8b \
    --port 8000

Kiểm tra disk space
df -h /root/.cache/huggingface/

4. Slow Inference / High Latency

Mô tả lỗi: Response time > 10s cho simple requests. Nguyên nhân:

Chưa bật tensor-parallel cho multi-GPU
prefill phase quá dài
KV cache fragmentation

Giải pháp:

# Bật chunked-prefill để giảm TTFT (Time To First Token)
python -m vllm.entrypoints.openai.api_server \
    --model Qwen/Qwen2.5-7B-Instruct \
    --enable-chunked-prefill \
    --max-num-batched-tokens 4096 \
    --max-model-len 8192 \
    --gpu-memory-utilization 0.92

Sử dụng FlashAttention để tăng tốc
pip install flash-attn --no-build-isolation

python -m vllm.entrypoints.openai.api_server \
    --model Qwen/Qwen2.5-7B-Instruct \
    --enforce-eager \
    --enable-flash-attention \
    --port 8000

Tổng kết

Qua bài viết này, bạn đã nắm được cách deploy vLLM inference engine từ cơ bản đến production-grade. Điểm mấu chốt cần nhớ:

Luôn monitor GPU VRAM — tránh OOM bằng cách set gpu-memory-utilization phù hợp
Sử dụng quantization — AWQ/GPTQ giúp giảm 50-70% VRAM usage
Bật continuous batching — tăng throughput lên 5-10x
Pre-download model — tránh lỗi network trong production

Nếu bạn cần inference nhanh chóng mà không muốn quản lý infra, HolySheep AI là lựa chọn tối ưu với tỷ giá ¥1=$1, hỗ trợ WeChat/Alipay, và latency <50ms. Đặc biệt, DeepSeek V3.2 chỉ $0.42/MTok — rẻ hơn 95% so với Claude Sonnet 4.5. 👉 Đăng ký HolySheep AI — nhận tín dụng miễn phí khi đăng ký

Bối cảnh thị trường 2026

vLLM là gì và tại sao nên dùng

Cài đặt môi trường

Cài đặt vLLM từ PyPI

Kiểm tra phiên bản

Kiểm tra GPU

Khởi chạy server vLLM

Với multi-GPU (2 GPU)

--tensor-parallel-size 2

Response mẫu:

{

"object": "list",

"data": [

{

"id": "qwen2.5-7b",

"object": "model",

"created": 1703000000,

"owned_by": "system"

}

]

}

Gọi chat completion

Tích hợp với client Python

Kết nối đến vLLM server local

Cấu hình nâng cao cho production

1. Continuous Batching

2. Tensor Parallelism cho model lớn

Hoặc dùng Ray cho distributed deployment

3. Quantization để tiết kiệm VRAM

GPTQ quantization

Monitoring và Optimization

Python client theo dõi

Parse Prometheus format metrics

Kết nối với HolySheep AI API

Sử dụng DeepSeek V3.2 - chỉ $0.42/MTok

Hoặc dùng GPT-4.1 - $8/MTok

Lỗi thường gặp và cách khắc phục

1. CUDA Out of Memory (OOM)

Hoặc sử dụng quantization

2. Connection Refused khi gọi API

Start lại với bind đúng

Test kết nối

Nếu vẫn lỗi, kiểm tra firewall

3. Model Not Found hoặc Download Failed

Hoặc set token trong environment

Hoặc tải model về local trước

Sau đó chạy với local path

Kiểm tra disk space

4. Slow Inference / High Latency

Sử dụng FlashAttention để tăng tốc

Tổng kết

Tài nguyên liên quan

Bài viết liên quan

🔥 Thử HolySheep AI

`--tensor-parallel-size 2`