Giải pháp lưu trữ nhật ký và quản lý khóa cho nền tảng AI Gateway theo tiêu chuẩn Bảo vệ phân cấp an ninh mạng phiên bản 2.0 cấp 3 của Trung Quốc

Bài viết kỹ thuật dành cho đội ngũ vận hành AI Gateway tại các doanh nghiệp hoạt động xuyên biên giới Việt - Trung, có nhu cầu tuân thủ tiêu chuẩn ĐLPL 2.0 cấp 3 mà vẫn muốn tận dụng các mô hình ngôn ngữ lớn hàng đầu qua cổng trung gian.

1. Câu chuyện thực tế - Khách hàng thương mại điện tử đỉnh dịch "Đợt sale 11/11"

Tôi còn nhớ rất rõ đêm 10/11 năm ngoái, khi team vận hành của một sàn thương mại điện tử lớn ở Thượng Hải gọi cho tôi lúc 23:47. Hệ thống chatbot chăm sóc khách hàng của họ - được xây dựng trên một gateway AI trung gian nối tới nhiều mô hình lớn - đột ngột tăng tải gấp 8 lần vì đợt sale "Song dương" bắt đầu từ 00:00. Vấn đề không phải là throughput, mà là log pipeline bị tắc nghẽn lúc 02:14 sáng do log file không kịp xoay vòng, làm auditor Trung Quốc hai ngày sau đó rút giấy phép vận hành tạm thời vì log chưa đủ 180 ngày retention theo yêu cầu ĐLPL 2.0 cấp 3.

Từ đó, team đó đã phải thiết kế lại toàn bộ nền tảng với 4 lớp rõ ràng: gateway có logging có cấu trúc từng request, KMS adapter để wrap/unwrap API key, log forwarder đẩy về cold storage tối thiểu 6 tháng, và metrics pipeline theo chuẩn Prometheus để auditor có thể truy vết bất kỳ request nào trong vòng 30 giây.

2. ĐLPL 2.0 cấp 3 yêu cầu gì với nền tảng AI Gateway?

Tiêu chuẩn Bảo vệ phân cấp an ninh mạng phiên bản 2.0 của Trung Quốc (gọi tắt theo phiên âm Hán Việt: Đẳng Lưu Phân Loại - ĐLPL) cấp 3 là mức áp dụng cho hệ thống thông tin quan trọng, bao gồm các dịch vụ xử lý dữ liệu cá nhân quy mô lớn. Với nền tảng AI trung gian (AI relay/gateway platform), 4 điểm mấu chốt cần thỏa mãn là:

• Lưu trữ nhật ký tối thiểu 180 ngày (6 tháng) cho log truy cập, log vận hành và log bảo mật; phải đảm bảo log không bị sửa đổi (integrity) và có chữ ký thời gian.
• Quản lý khóa bắt buộc dùng HSM hoặc KMS tuân chuẩn GM/T 0028-2014; khóa phải có cơ chế xoay vòng (rotation) định kỳ tối đa 90 ngày.
• Truy vết được mọi request LLM: auditor cần truy ngược từ response về prompt gốc, user ID đã băm, địa chỉ IP nguồn, model đã dùng và token usage.
• Phân vùng mạng và giám sát 24/7: phải có NTP đồng bộ, log đẩy về SIEM riêng, có cảnh báo real-time khi phát hiện lệch lạc truy cập.

3. Kiến trúc giải pháp 4 lớp

┌────────────────────────────────────────────────────────────────────┐
│  Lớp 1: Edge / WAF (chặn DDoS + rate-limit per tenant)            │
└──────────────────────────────┬─────────────────────────────────────┘
                               │
┌──────────────────────────────▼─────────────────────────────────────┐
│  Lớp 2: AI Gateway trung gian                                      │
│    • Audit log in-memory (write-ahead) + JSONL on disk            │
│    • Mask API key, hash user_id, đo latency p50/p95/p99            │
└──────────────────────────────┬─────────────────────────────────────┘
                               │
┌──────────────────────────────▼─────────────────────────────────────┐
│  Lớp 3: KMS Adapter (HSM-backed)                                   │
│    • Wrap/unwrap tenant API key với master key trong HSM           │
│    • Auto-rotate mỗi 90 ngày, ghi log sự kiện rotation            │
└──────────────────────────────┬─────────────────────────────────────┘
                               │
┌──────────────────────────────▼─────────────────────────────────────┐
│  Lớp 4: Cold Storage + SIEM                                         │
│    • Object storage giữ log 180 ngày (S3 / Aliyun OSS)            │
│    • Prometheus → Grafana cho dashboard trực tiếp cho auditor      │
└────────────────────────────────────────────────────────────────────┘

4. Code thực thi - Middleware Gateway có logging đầy đủ

Đoạn code dưới đây là phiên bản rút gọn của gateway tôi đã triển khai cho sàn thương mại điện tử nói trên, dùng HolySheep AI làm upstream provider vì nhà cung cấp này hỗ trợ thanh toán WeChat/Alipay, đồng thời có tỷ giá 1 NDT = 1 USD (tức tiết kiệm hơn 85% so với các cổng thanh toán quốc tế khác).

# ai_gateway.py - Lớp 2: Middleware có audit logging chuẩn ĐLPL-2.0
import os
import json
import time
import uuid
import hashlib
from datetime import datetime, timezone
from openai import OpenAI
from flask import Flask, request, jsonify

LOG_DIR = "/var/log/ai-gateway"
RETENTION_DAYS = 180  # ĐLPL 2.0 yêu cầu tối thiểu 180 ngày
os.makedirs(LOG_DIR, exist_ok=True)

Khởi tạo client trỏ về HolySheep (KHÔNG dùng api.openai.com / anthropic)
client = OpenAI(
    base_url="https://api.holysheep.ai/v1",
    api_key=os.environ["HOLYSHEEP_API_KEY"],
)

app = Flask(__name__)

def mask_key(api_key: str) -> str:
    """Chỉ giữ 6 ký tự đầu + 4 ký tự cuối để truy vết mà không lộ key."""
    return api_key[:6] + "***" + api_key[-4:]

def write_audit_log(record: dict) -> None:
    """Append-only JSONL, mỗi dòng 1 sự kiện, kèm checksum chống sửa đổi."""
    day = datetime.now(timezone.utc).strftime("%Y-%m-%d")
    path = f"{LOG_DIR}/audit-{day}.jsonl"
    line = json.dumps(record, ensure_ascii=False)
    sha = hashlib.sha256(line.encode()).hexdigest()[:16]
    record["_integrity"] = sha
    with open(path, "a", encoding="utf-8") as f:
        f.write(json.dumps(record, ensure_ascii=False) + "\n")

@app.route("/v1/chat", methods=["POST"])
def chat():
    trace_id = str(uuid.uuid4())
    body = request.get_json(force=True, silent=True) or {}
    user_id = body.get("user_id", "anonymous")
    model = body.get("model", "deepseek-v3.2")

    # Log request trước khi gọi LLM
    write_audit_log({
        "trace_id": trace_id,
        "event": "llm_request",
        "ts": datetime.now(timezone.utc).isoformat(),
        "user_id_hash": hashlib.sha256(user_id.encode()).hexdigest()[:16],
        "model": model,
        "ip": request.remote_addr,
        "key_prefix": mask_key(os.environ["HOLYSHEEP_API_KEY"]),
        "input_chars": sum(len(m.get("content", "")) for m in body.get("messages", [])),
    })

    t0 = time.perf_counter()
    try:
        resp = client.chat.completions.create(
            model=model,
            messages=body.get("messages", []),
            temperature=body.get("temperature", 0.7),
        )
        latency_ms = round((time.perf_counter() - t0) * 1000, 2)
    except Exception as exc:
        write_audit_log({
            "trace_id": trace_id,
            "event": "llm_error",
            "ts": datetime.now(timezone.utc).isoformat(),
            "error": str(exc)[:200],
        })
        return jsonify({"error": "upstream_failure"}), 502

    # Log response kèm token usage & finish_reason
    write_audit_log({
        "trace_id": trace_id,
        "event": "llm_response",
        "ts": datetime.now(timezone.utc).isoformat(),
        "latency_ms": latency_ms,
        "output_tokens": resp.usage.completion_tokens,
        "prompt_tokens": resp.usage.prompt_tokens,
        "finish_reason": resp.choices[0].finish_reason,
    })
    return jsonify(resp.to_dict())

if __name__ == "__main__":
    # Bind trong private subnet, đứng sau ALB + WAF
    app.run(host="10.0.4.12", port=8080)

5. Code thực thi - KMS Adapter quản lý khóa có rotation

Đoạn code dưới đây mô phỏng một adapter tương thích chuẩn GM/T 0028-2014, đủ để team vận hành demo trong môi trường staging. Trong production, master key sẽ được