vLLM 高性能推理引擎部署教程与 API 兼容配置

ในโลกของ AI ที่ต้องการความเร็วและประสิทธิภาพสูง vLLM (Virtual Large Language Model) ได้กลายเป็นเครื่องมือสำคัญสำหรับนักพัฒนาที่ต้องการ deploy โมเดล AI ใช้งานจริง บทความนี้จะพาคุณเรียนรู้การติดตั้ง vLLM อย่างละเอียด พร้อมวิธีการ config ให้ compatible กับ OpenAI API format ซึ่งจะทำให้คุณสามารถ switch provider ได้ง่าย รวมถึงการใช้งานร่วมกับ HolySheep AI ที่ให้บริการ API compatible กับ OpenAI format พร้อมความเร็วตอบสนองน้อยกว่า 50ms และราคาประหยัดกว่า 85%

สถานการณ์ข้อผิดพลาดจริง: ConnectionError: timeout หลังติดตั้ง vLLM

ก่อนจะเข้าสู่เนื้อหาหลัก ผมอยากเล่าประสบการณ์ตรงที่เจอเมื่อติดตั้ง vLLM เป็นครั้งแรก หลังจากติดตั้งเสร็จและสั่ง start server แล้ว พยายามเรียก API กลับได้รับ error:

ConnectionError: HTTPConnectionPool(host='localhost', port=8000): Max retries exceeded with reason: Connection refused

ปัญหานี้เกิดจาก config ที่ไม่ถูกต้อง และ firewall ที่ block port 8000 มาดูวิธีแก้ไขและการติดตั้งอย่างถูกต้องกัน

vLLM คืออะไร และทำไมต้องใช้

vLLM เป็น open-source library สำหรับ high-throughput LLM inference ที่พัฒนาโดย UC Berkeley มีจุดเด่นด้าน:

• PagedAttention — ลด memory usage ลงถึง 50%
• Continuous batching — เพิ่ม throughput สูงสุด 24 เท่า
• API compatibility — รองรับ OpenAI API format ทำให้ switch provider ได้ง่าย
• Streaming support — รองรับ streaming response แบบ real-time

การติดตั้ง vLLM บน Ubuntu/Debian

# ติดตั้ง dependencies
sudo apt-get update
sudo apt-get install -y python3-pip git

สร้าง virtual environment
python3 -m venv vllm-env
source vllm-env/bin/activate

ติดตั้ง vLLM (CUDA 12.1+)
pip install vllm==0.4.0 torch torchvision

ตรวจสอบ CUDA version
nvcc --version

ข้อควรระวัง: vLLM ต้องการ CUDA toolkit เวอร์ชันที่ตรงกับ PyTorch ที่ติดตั้ง แนะนำใช้ CUDA 12.1 ขึ้นไปสำหรับ GPU รุ่นใหม่

การตั้งค่า vLLM Server ให้ Compatible กับ OpenAI API

หัวใจสำคัญของการใช้งาน vLLM คือการตั้งค่าให้ format รองรับ OpenAI API ซึ่งจะทำให้ code เดิมที่ใช้กับ OpenAI สามารถใช้กับ vLLM ได้เลย

# สร้างไฟล์ config สำหรับ vLLM server
cat > vllm_config.json << 'EOF'
{
    "model": "meta-llama/Llama-3-8B-Instruct",
    "tensor_parallel_size": 1,
    "gpu_memory_utilization": 0.9,
    "port": 8000,
    "host": "0.0.0.0",
    "api_key": "vllm-secret-key",
    "allowed_origins": ["*"],
    "max_model_len": 8192,
    "tokenizer": "meta-llama/Llama-3-8B-Instruct"
}
EOF

หรือใช้ command line arguments
python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Llama-3-8B-Instruct \
    --port 8000 \
    --host 0.0.0.0 \
    --api-key vllm-secret-key \
    --gpu-memory-utilization 0.9 \
    --max-model-len 8192

เมื่อ server start แล้ว คุณสามารถเรียกใช้งานผ่าน OpenAI-compatible endpoint ได้ทันที

ตัวอย่างโค้ด Python: การเรียกใช้ vLLM กับ OpenAI Client

from openai import OpenAI

สำหรับ vLLM local server
client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="vllm-secret-key"
)

response = client.chat.completions.create(
    model="meta-llama/Llama-3-8B-Instruct",
    messages=[
        {"role": "system", "content": "คุณเป็นผู้ช่วย AI"},
        {"role": "user", "content": "อธิบาย vLLM สั้นๆ"}
    ],
    temperature=0.7,
    max_tokens=500
)

print(response.choices[0].message.content)

โค้ดด้านบนใช้ OpenAI client เดียวกันกับที่ใช้กับ OpenAI API ธรรมดา ต่างกันแค่ base_url และ api_key

การ Switch ระหว่าง vLLM Local และ HolySheep AI Cloud

นี่คือจุดเด่นของ OpenAI-compatible API — คุณสามารถ switch provider ได้โดยเปลี่ยนแค่ base_url และ api_key สำหรับ production ที่ต้องการ reliability สูงและไม่ต้องกังวลเรื่อง GPU resource แนะนำให้ใช้ HolySheep AI ที่ให้บริการ:

• Latency น้อยกว่า 50ms — เร็วกว่า local deployment หลายเท่า
• อัตรา ¥1=$1 — ประหยัดมากกว่า 85% เมื่อเทียบกับ OpenAI
• รองรับ WeChat/Alipay — ชำระเงินง่ายสำหรับผู้ใช้ในจีน
• ราคาเครดิตฟรีเมื่อลงทะเบียน — เริ่มทดลองใช้ได้ทันที
• รองรับหลายโมเดล — GPT-4.1 ($8/MTok), Claude Sonnet 4.5 ($15/MTok), Gemini 2.5 Flash ($2.50/MTok), DeepSeek V3.2 ($0.42/MTok)

# โค้ดเดียวกัน แค่เปลี่ยน config
import os

สำหรับ production — ใช้ HolySheep AI
def get_openai_client():
    return OpenAI(
        base_url="https://api.holysheep.ai/v1",
        api_key=os.environ.get("HOLYSHEEP_API_KEY")  # YOUR_HOLYSHEEP_API_KEY
    )

สำหรับ development — ใช้ vLLM local
def get_vllm_client():
    return OpenAI(
        base_url="http://localhost:8000/v1",
        api_key="vllm-secret-key"
    )

ใช้งาน — เลือกได้ตาม environment
client = get_openai_client()  # production
client = get_vllm_client()   # local development

response = client.chat.completions.create(
    model="gpt-4.1",
    messages=[{"role": "user", "content": "ทดสอบ API"}]
)

Advanced: vLLM Multi-GPU Configuration

สำหรับโมเดลขนาดใหญ่ที่ต้องใช้หลาย GPU ต้อง config tensor parallel ให้ถูกต้อง

# สำหรับ 4x GPU (เช่น A100 80GB x4)
python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Llama-3-70B-Instruct \
    --tensor-parallel-size 4 \
    --port 8000 \
    --host 0.0.0.0 \
    --api-key your-secret-key \
    --gpu-memory-utilization 0.92 \
    --max-model-len 4096 \
    --enforce-eager

ตรวจสอบว่าใช้งานได้
curl -H "Authorization: Bearer your-secret-key" \
     http://localhost:8000/v1/models

ข้อผิดพลาดที่พบบ่อยและวิธีแก้ไข

กรณีที่ 1: ConnectionRefusedError: [Errno 111] Connection refused

อาการ: เรียก API แล้วได้ error ConnectionRefused ทันที

# สาเหตุ: Server ยังไม่ได้ start หรือ port ถูก block
วิธีแก้:

1. ตรวจสอบว่า server ทำงานอยู่
ps aux | grep vllm

2. ตรวจสอบ port
sudo netstat -tlnp | grep 8000

3. ดู logs
journalctl -u vllm -f

4. ลอง start ใหม่
python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Llama-3-8B-Instruct \
    --port 8000 \
    --host 0.0.0.0 2>&1 | tee vllm.log

กรณีที่ 2: 401 Unauthorized หรือ AuthenticationError

อาการ: ได้รับ error 401 เมื่อเรียก API

# สาเหตุ: API key ไม่ตรงกัน
วิธีแก้:

1. ตรวจสอบ API key ที่ server config
ไฟล์ config ควรเป็น:
{
    "api_key": "your-correct-key"
}

2. ตรวจสอบ client code
client = OpenAI(
    base_url="https://api.holysheep.ai/v1",
    api_key="YOUR_HOLYSHEEP_API_KEY"  # ต้องตรงกับ key ที่ได้จาก HolySheep
)

3. หากใช้ HolySheep ให้ตรวจสอบ key ที่ dashboard
https://www.holysheep.ai/register

4. ปิด authentication (dev เท่านั้น)
python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Llama-3-8B-Instruct \
    --port 8000 \
    --api-key ""  # ไม่มี key

กรณีที่ 3: CUDA Out of Memory หรือ OOM

อาการ: Server crash และมี log บอก out of memory

# สาเหตุ: GPU memory ไม่พอสำหรับโมเดล
วิธีแก้:

1. ลด gpu-memory-utilization
python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Llama-3-8B-Instruct \
    --gpu-memory-utilization 0.7  # ลดจาก 0.9

2. ลด max-model-len
--max-model-len 2048  # ลด context window

3. ใช้ quantization
python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Llama-3-8B-Instruct \
    --quantization fp8  # ลด memory 50%

4. ใช้โมเดลที่เล็กลง
--model meta-llama/Llama-3-2B-Instruct

5. หรือใช้ HolySheep API แทน (ไม่ต้องกังวลเรื่อง GPU)
client = OpenAI(
    base_url="https://api.holysheep.ai/v1",
    api_key="YOUR_HOLYSHEEP_API_KEY"
)

กรณีที่ 4: Streaming Response ทำงานไม่ได้

อาการ: เรียก streaming API แล้วได้ response ทั้งหมดแทนที่จะเป็น stream

# สาเหตุ: vLLM ไม่ได้ enable streaming ใน config
วิธีแก้:

1. เปิด streaming ใน client
response = client.chat.completions.create(
    model="meta-llama/Llama-3-8B-Instruct",
    messages=[{"role": "user", "content": "ทดสอบ"}],
    stream=True  # ต้องเป็น True
)

2. อ่าน streaming response อย่างถูกต้อง
for chunk in response:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

3. ตรวจสอบว่า vLLM version ใหม่พอ
pip install --upgrade vllm

Performance Tuning: เพิ่มความเร็ว vLLM

# สำหรับ low-latency production
python -m vllm.entrypoints.openai.api_server \
    --model meta-llama/Llama-3-8B-Instruct \
    --port 8000 \
    --host 0.0.0.0 \
    --gpu-memory-utilization 0.95 \
    --max-num-batched-tokens 32768 \
    --max-num-seqs 256 \
    --enforce-eager \
    --disable-log-requests \
    --guided-decoding-backend flashinfer

หรือใช้ TensorRT-LLM backend (เร็วกว่า 2-3 เท่า)
pip install tensorrt_llm
trtllm-build --model_dir meta-llama/Llama-3-8B-Instruct \
              --output_dir /tmp/tllm_checkpoint \
              --dtype float16 \
              --tp_size 1

สรุป

การ deploy vLLM สำหรับ production นั้นมีหลายจุดที่ต้องระวัง ตั้งแต่การติดตั้ง CUDA ที่ถูกต้อง การ config memory utilization ไปจนถึงการจัดการ API authentication หากคุณต้องการ solution ที่ไม่ต้องดูแล server เอง แนะนำให้ใช้ HolySheep AI ที่ให้บริการ API compatible กับ OpenAI format พร้อม latency น้อยกว่า 50ms และราคาประหยัดกว่า 85% รองรับหลายโมเดลคุณภาพสูง เหมาะสำหรับทั้ง development และ production

👉 สมัคร HolySheep AI — รับเครดิตฟรีเมื่อลงทะเบียน