Mình là Tùng — tác giả blog kỹ thuật tại HolySheep AI. Bài viết này tái hiện lại toàn bộ quá trình mình thiết kế lại hệ thống relay Claude Opus 4.7 sau sự cố mùa sale 11/11, kèm code chạy được và số liệu benchmark thực tế từ môi trường production.

1. Câu chuyện thực chiến: Đêm 10/11 và bài học xương máu

Đêm 10/11 năm ngoái, dashboard Grafana của team mình đột ngột chuyển sang màu đỏ lúc 23:47. Lưu lượng truy vấn Claude (lúc đó còn là bản tiền nhiệm trước khi Opus 4.7 ra mắt) tăng vọt từ 1.200 RPS lên 14.800 RPS chỉ trong 4 phút — đúng giờ flash sale của 3 thương hiệu lớn cùng lúc. Hệ thống cũ dùng một relay node duy nhất đặt ở Singapore. Trong 11 phút, node đó bão hoà, queue lên tới 22 giây, 18,4% request bị 504 timeout. Thiệt hại: 4.200 đơn hàng bị bỏ giỏ vì chatbot ngắt giữa chừng, 312 phiên hoàn tiền, và một ticket escalation lên CTO lúc nửa đêm.

Đó là lúc mình bắt tay vào viết lại toàn bộ hệ thống chuyển tiếp với triết lý cứng: không bao giờ để một node đơn lẻ trở thành điểm chết duy nhất. Bài viết này chia sẻ lại toàn bộ kiến trúc, code và bài học mình rút ra trong 6 tuần triển khai lại.

2. Yêu cầu thiết kế & ràng buộc ngân sách

Sau sự cố, mình đặt 5 chỉ tiêu cứng cho hệ thống mới:

Mình chọn đăng ký HolySheep AI làm backbone relay vì 3 lý do cụ thể: (1) hạ tầng đã có sẵn 4 vùng (Hong Kong, Singapore, Tokyo, Frankfurt), khỏi mất 2 tuần tự dựng; (2) thanh toán WeChat/Alipay với tỷ giá ¥1 = $1 giúp đội mình tiết kiệm 85%+ so với quẹt thẻ USD; (3) overhead trung bình chỉ <50ms, thấp hơn 3 lần so với tự build proxy qua Cloudflare Workers.

3. Kiến trúc tổng quan: 5 lớp phòng thủ

Sơ đồ dưới đây là cách mình tổ chức hệ thống sau 3 vòng red-team nội bộ:

[ Client App ]
     │
     ▼
[ Lớp 1: Nginx Edge LB ]   ← TLS terminate, IP allowlist, rate limit
     │
     ▼
[ Lớp 2: API Gateway / BFF ]   ← auth, quota, request signing
     │
     ▼
[ Lớp 3: Opus Relay Pool ]    ← 4 node đa vùng (HK / SG / TYO / FRA)
     │           │
     │           └──► [ Lớp 4: Health Check Daemon ] (mỗi 5s)
     │
     ▼
[ Lớp 5: Circuit Breaker + Retry ]   ← fail-fast khi node xấu
     │
     ▼
[ Upstream: api.holysheep.ai/v1 ]   ← endpoint thống nhất

Mỗi lớp có một trách nhiệm duy nhất. Khi Lớp 3 nghi ngờ một node chết, nó chuyển sang HALF_OPEN, gửi 1 request thăm dò; nếu thành công thì đưa node về lại CLOSED. Quy tắc "fail fast, retry smart" được áp dụng xuyên suốt.

4. Code Relay Client với Circuit Breaker (Python, async)

Đây là phần lõi của hệ thống. Mình viết bằng Python 3.11+ với httpx async để xử lý đồng thời hàng nghìn kết nối. Bạn có thể copy nguyên đoạn dưới vào file opus_relay.py và chạy thử:

# opus_relay.py

Yêu cầu: pip install httpx

import asyncio, random, time
from dataclasses import dataclass
import httpx

@dataclass
class RelayNode:
    name: str
    region: str
    weight: int = 100
    healthy: bool = True
    avg_latency_ms: float = 0.0

class CircuitBreaker:
    """3 trạng thái: CLOSED → OPEN → HALF_OPEN"""
    def __init__(self, fail_threshold=5, recovery_sec=30):

Tài nguyên liên quan
Bài viết liên quan