Kubernetes Ingress กับ AI API Gateway: สอนตั้งค่า Route แบบละเอียด

สวัสดีครับ วันนี้ผมจะมาแชร์ประสบการณ์ตรงในการตั้งค่า Kubernetes Ingress เพื่อ route traffic ไปยัง AI API Gateway ของ HolySheep AI ซึ่งเป็นบริการที่ผมใช้งานจริงมาหลายเดือนแล้ว มีความหน่วงต่ำมากที่ <50ms และราคาประหยัดมาก อัตรา ¥1=$1 ทำให้ประหยัดได้ถึง 85%+ เมื่อเทียบกับบริการอื่น รองรับทั้ง WeChat และ Alipay

ทำไมต้องใช้ Ingress กับ AI API?

ใน production environment การใช้ Kubernetes Ingress ช่วยให้เราสามารถ:

• รวม API endpoint หลายตัวไว้ใน domain เดียว
• จัดการ SSL/TLS จากที่เดียว
• ทำ load balancing และ rate limiting
• ติดตาม metrics และ logging ง่าย
• เปลี่ยน provider ได้ง่ายโดยไม่ต้องแก้ client code

Architecture Overview

โครงสร้างที่เราจะสร้างวันนี้:

Internet → Ingress Controller (NGINX) → AI API Gateway Service → HolySheep API
                                                              (https://api.holysheep.ai/v1)

การติดตั้ง NGINX Ingress Controller

# ติดตั้ง NGINX Ingress Controller
kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.9.4/deploy/static/provider/cloud/deploy.yaml

ตรวจสอบสถานะ
kubectl get pods -n ingress-nginx
kubectl get svc -n ingress-nginx

สร้าง API Gateway Service

# api-gateway-service.yaml
apiVersion: v1
kind: Service
metadata:
  name: ai-api-gateway
  namespace: default
spec:
  type: ExternalName
  externalName: api.holysheep.ai
  ports:
  - port: 443
    targetPort: 443
    protocol: TCP
    name: https

สร้าง Ingress Rule สำหรับ AI API

# ai-ingress.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: ai-api-ingress
  namespace: default
  annotations:
    nginx.ingress.kubernetes.io/ssl-redirect: "true"
    nginx.ingress.kubernetes.io/proxy-body-size: "50m"
    nginx.ingress.kubernetes.io/proxy-read-timeout: "300"
    nginx.ingress.kubernetes.io/proxy-send-timeout: "300"
    nginx.ingress.kubernetes.io/rate-limit: "100"
    nginx.ingress.kubernetes.io/rate-limit-window: "1m"
    cert-manager.io/cluster-issuer: "letsencrypt-prod"
spec:
  ingressClassName: nginx
  tls:
  - hosts:
    - api.yourdomain.com
    secretName: ai-api-tls
  rules:
  - host: api.yourdomain.com
    http:
      paths:
      - path: /v1
        pathType: Prefix
        backend:
          service:
            name: ai-api-gateway
            port:
              number: 443
      - path: /
        pathType: Prefix
        backend:
          service:
            name: ai-api-gateway
            port:
              number: 443

สร้าง ConfigMap สำหรับ Header Configuration

# ai-gateway-configmap.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: ai-gateway-config
  namespace: default
data:
  proxy-set-header: |
    Host $host
    X-Real-IP $remote_addr
    X-Forwarded-For $proxy_add_x_forwarded_for
    X-Forwarded-Proto $scheme
    X-API-Key "YOUR_HOLYSHEEP_API_KEY"
---
ingress-with-configmap.yaml
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: ai-api-ingress
  namespace: default
  annotations:
    nginx.ingress.kubernetes.io/configuration-snippet: |
      proxy_set_header X-API-Key "YOUR_HOLYSHEEP_API_KEY";
    nginx.ingress.kubernetes.io/ssl-redirect: "true"
    nginx.ingress.kubernetes.io/proxy-body-size: "50m"
spec:
  ingressClassName: nginx
  tls:
  - hosts:
    - api.yourdomain.com
    secretName: ai-api-tls
  rules:
  - host: api.yourdomain.com
    http:
      paths:
      - path: /v1
        pathType: Prefix
        backend:
          service:
            name: ai-api-gateway
            port:
              number: 443

Client Code ตัวอย่าง (Python)

# client_example.py
import openai
import os

ตั้งค่า base_url ไปที่ Ingress ของเรา
client = openai.OpenAI(
    base_url="https://api.yourdomain.com/v1",  # ไม่ต้องใส่ API key ที่นี่
    api_key=os.environ.get("HOLYSHEEP_API_KEY"),  # เก็บไว้ใน secret
    timeout=120
)

ส่ง request ไปยัง GPT-4.1
response = client.chat.completions.create(
    model="gpt-4.1",
    messages=[
        {"role": "system", "content": "คุณเป็นผู้ช่วยที่เป็นมิตร"},
        {"role": "user", "content": "ทักทายฉันหน่อย"}
    ],
    temperature=0.7,
    max_tokens=150
)

print(response.choices[0].message.content)

ตรวจสอบ usage
print(f"Prompt tokens: {response.usage.prompt_tokens}")
print(f"Completion tokens: {response.usage.completion_tokens}")
print(f"Total tokens: {response.usage.total_tokens}")

ตัวอย่างการใช้งาน Claude และ Gemini

# multi_model_example.py
from openai import OpenAI
import anthropic
import google.generativeai as genai
import os

HolySheep AI Client - รองรับหลาย provider
holysheep = OpenAI(
    base_url="https://api.yourdomain.com/v1",
    api_key=os.environ.get("HOLYSHEEP_API_KEY")
)

def use_claude_sonnet():
    """ใช้ Claude Sonnet 4.5 ผ่าน HolySheep"""
    response = holysheep.chat.completions.create(
        model="claude-sonnet-4.5",
        messages=[
            {"role": "user", "content": "อธิบาย quantum computing สั้นๆ"}
        ],
        max_tokens=200
    )
    return response.choices[0].message.content

def use_gemini_flash():
    """ใช้ Gemini 2.5 Flash ผ่าน HolySheep - เร็วและถูก"""
    response = holysheep.chat.completions.create(
        model="gemini-2.5-flash",
        messages=[
            {"role": "user", "content": "เขียนโค้ด Python สั้นๆ สำหรับ Fibonacci"}
        ],
        max_tokens=300
    )
    return response.choices[0].message.content

def use_deepseek():
    """ใช้ DeepSeek V3.2 - ราคาถูกมาก $0.42/MTok"""
    response = holysheep.chat.completions.create(
        model="deepseek-v3.2",
        messages=[
            {"role": "user", "content": "แนะนำหนังสือ 3 เล่มเกี่ยวกับ Kubernetes"}
        ],
        max_tokens=500
    )
    return response.choices[0].message.content

ทดสอบทั้งหมด
if __name__ == "__main__":
    print("Claude Sonnet 4.5:", use_claude_sonnet()[:100], "...")
    print("\nGemini 2.5 Flash:", use_gemini_flash()[:100], "...")
    print("\nDeepSeek V3.2:", use_deepseek()[:100], "...")

การ Deploy Client เป็น Kubernetes Pod

# ai-client-deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: ai-client-app
  namespace: default
spec:
  replicas: 3
  selector:
    matchLabels:
      app: ai-client
  template:
    metadata:
      labels:
        app: ai-client
    spec:
      containers:
      - name: client
        image: python:3.11-slim
        command: ["python", "-u", "client_example.py"]
        env:
        - name: HOLYSHEEP_API_KEY
          valueFrom:
            secretKeyRef:
              name: holysheep-secret
              key: api-key
        - name: API_BASE_URL
          value: "https://api.yourdomain.com/v1"
        resources:
          requests:
            memory: "128Mi"
            cpu: "100m"
          limits:
            memory: "512Mi"
            cpu: "500m"
---
secret สำหรับเก็บ API key
apiVersion: v1
kind: Secret
metadata:
  name: holysheep-secret
  namespace: default
type: Opaque
stringData:
  api-key: "YOUR_HOLYSHEEP_API_KEY"

Performance Benchmark จากการใช้งานจริง

หมายเหตุ: Latency วัดจาก Kubernetes Pod ใน Singapore region ไปยัง HolySheep API ซึ่งมี response time <50ms ตามที่ระบุไว้

ข้อผิดพลาดที่พบบ่อยและวิธีแก้ไข

1. Error: x509: certificate signed by unknown authority

# ปัญหา: SSL certificate ไม่ถูกต้อง
วิธีแก้: ตรวจสอบว่า TLS secret ถูกสร้างอย่างถูกต้อง

kubectl get secret ai-api-tls
kubectl describe secret ai-api-tls

หรือสร้างใหม่ด้วย cert-manager
kubectl apply -f - <

# ปัญหา: ExternalName service ไม่สามารถเชื่อมต่อได้
วิธีแก้: ตรวจสอบ DNS resolution และ network policy

ตรวจสอบ DNS
kubectl run -it --rm debug --image=busybox --restart=Never -- nslookup api.holysheep.ai

เพิ่ม network policy อนุญาต egress
kubectl apply -f - <

# ปัญหา: API key ไม่ถูกต้องหรือไม่ได้ส่งผ่าน header
วิธีแก้: ตรวจสอบว่า API key ถูก set ใน header

วิธีที่ 1: ใช้ annotation ใน Ingress
annotations:
  nginx.ingress.kubernetes.io/configuration-snippet: |
    proxy_set_header Authorization "Bearer YOUR_HOLYSHEEP_API_KEY";

วิธีที่ 2: ใช้ external-auth
annotations:
  nginx.ingress.kubernetes.io/auth-url: "https://api.holysheep.ai/v1/auth"
  nginx.ingress.kubernetes.io/auth-method: "POST"
  nginx.ingress.kubernetes.io/auth-headers-request: "X-API-Key"

วิธีที่ 3: ตรวจสอบว่า client ส่ง API key ถูกต้อง
curl -X POST https://api.yourdomain.com/v1/chat/completions \
  -H "Authorization: Bearer $HOLYSHEEP_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"gpt-4.1","messages":[{"role":"user","content":"test"}]}'

# ปัญหา: request body ใหญ่เกิน default limit (1MB)
วิธีแก้: เพิ่มขนาด limit ใน Ingress annotation

annotations:
  nginx.ingress.kubernetes.io/proxy-body-size: "50m"  # สำหรับ file upload
  nginx.ingress.kubernetes.io/proxy-buffer-size: "128k"
  nginx.ingress.kubernetes.io/proxy-buffers-number: "4"
  nginx.ingress.kubernetes.io/proxy-busy-buffers-size: "256k"

# ปัญหา: ถูก block เพราะ request มากเกินไป
วิธีแก้: ปรับ rate limit ใน Ingress หรือใช้ Redis แชร์

annotations:
  nginx.ingress.kubernetes.io/limit-rps: "50"
  nginx.ingress.kubernetes.io/limit-rpm: "1000"
  nginx.ingress.kubernetes.io/limit-connections: "100"

หรือใช้ custom rate limit กับ Redis
annotations:
  nginx.ingress.kubernetes.io/limit-req-zone: |
    server_tokens off;
    limit_req_status 429;
  nginx.ingress.kubernetes.io/limit-req: "zone=api_limit:10rps"