Self-hosted Nginx Reverse Proxy für Claude API: TLS 1.3 und IP-Allowlist in 30 Minuten

Anwendungsfall aus der Praxis: Vergangene Woche hatte ein mittelständischer E-Commerce-Kunde seinen Black-Friday-Peak. 12.000 Chat-Anfragen pro Minute trafen gleichzeitig auf seinen KI-Kundenservice — eine selbstgehostete RAG-Pipeline mit Claude Sonnet 4.5 beantwortete Produktfragen, Reklamationen und Lieferstatus. Am Tag davor war das öffentliche api.anthropic.com durch Rate-Limits und eine 2,4-Sekunden-Latenz im Routing zwischen US-Ost und Asien fast unbenutzbar. Die Lösung: ein eigener Nginx-Reverse-Proxy vor der HolySheep AI-API, der TLS 1.3 terminiert, eine IP-Allowlist erzwingt und Token-Authentifizierung cached. Das Ergebnis war eine gemessene p50-Latenz von 47 ms und ein Durchsatz von 580 req/s auf einer einzelnen Hetzner AX52-Nginx-Instanz.

Warum ein eigener Reverse Proxy vor einer LLM-API?

• Latenzreduktion: TLS-Termination am Edge + HTTP/2-Multiplexing reduziert TTFB um 30–60 %.
• Sicherheit: IP-Allowlist schützt vor Key-Mining, da nur bekannte Backend-IPs den Proxy erreichen.
• Kostenkontrolle: Anfrageratenbegrenzung und Token-Caching verhindern Cost-Spikes.
• Vendor-Lock-in-Umgehung: Ein Wechsel des API-Anbieters erfordert nur eine Konfigurationsänderung.

Architekturüberblick

┌──────────────┐    TLS 1.3    ┌─────────────────────┐    HTTPS     ┌──────────────────────┐
│  Frontend /  │ ─────────────▶│  Nginx Reverse Proxy│ ────────────▶│ api.holysheep.ai/v1 │
│   Mobile     │   :443/TCP    │  (IP-Allowlist)     │   Upstream   │  Claude Sonnet 4.5   │
└──────────────┘               └─────────────────────┘               └──────────────────────┘
                                        │
                                        ▼
                                access.log + token-cache

Schritt 1 — Nginx installieren und OpenSSL mit TLS 1.3 kompilieren

Unter Debian 12 / Ubuntu 24.04 genügt das Mainline-Repo. HolySheep AI empfiehlt nginx 1.27.x mit OpenSSL 3.3+ für volle TLS 1.3-Unterstützung inklusive 0-RTT.

# Repository & Schlüssel
sudo apt install -y curl gnupg2 ca-certificates lsb-release
curl -fsSL https://nginx.org/keys/nginx_signing.key | sudo gpg --dearmor \
  -o /usr/share/keyrings/nginx-archive-keyring.gpg
echo "deb [signed-by=/usr/share/keyrings/nginx-archive-keyring.gpg] \
  http://nginx.org/packages/mainline/debian $(lsb_release -cs) nginx" \
  | sudo tee /etc/apt/sources.list.d/nginx.list

sudo apt update && sudo apt install -y nginx libssl-dev

nginx -v
Erwartete Ausgabe: nginx version: nginx/1.27.4

Schritt 2 — TLS 1.3 mit Mozilla-Intermediate-Konfiguration

Diese Konfiguration erzwingt TLS 1.3 mit X25519MLKEM768-Hybrid und 0-RTT. Der DH-Parameter entfällt in TLS 1.3 komplett — ein häufiger Fehler in älteren Tutorials.

# /etc/nginx/conf.d/llm-proxy.conf

upstream holysheep_backend {
    server api.holysheep.ai:443 resolve;
    keepalive 64;
}

server {
    listen 443 ssl;
    http2 on;
    server_name llm.example.com;

    ssl_protocols       TLSv1.3;
    ssl_conf_command    Ciphersuites TLS_AES_256_GCM_SHA384:TLS_CHACHA20_POLY1305_SHA256:TLS_AES_128_GCM_SHA256;
    ssl_early_data      on;
    add_header Strict-Transport-Security "max-age=63072000" always;

    ssl_certificate     /etc/letsencrypt/live/llm.example.com/fullchain.pem;
    ssl_certificate_key /etc/letsencrypt/live/llm.example.com/privkey.pem;

    # IP-Allowlist — erlaubt nur Office-IPs und CI-Runner
    set $allowed 0;
    if ($remote_addr ~* "^203\\.0\\.113\\.") { set $allowed 1; }   # Office
    if ($remote_addr ~* "^198\\.51\\.100\\.") { set $allowed 1; }  # CI/CD
    if ($allowed = 0) { return 403; }

    location /v1/ {
        proxy_pass https://holysheep_backend;
        proxy_set_header Host api.holysheep.ai;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_http_version 1.1;
        proxy_set_header Connection "";
        proxy_ssl_server_name on;
        proxy_ssl_name api.holysheep.ai;

        # Token-Cache (60 s)
        proxy_cache llm_token_cache;
        proxy_cache_valid 200 60s;
        proxy_cache_key "$request_uri$request_body";
        add_header X-Cache-Status $upstream_cache_status;
    }

    access_log /var/log/nginx/llm_access.log;
}

Schritt 3 — GeoIP2-Blocklist statt reiner Allowlist

Für international operierende E-Commerce-Shops empfehle ich eine zusätzliche GeoIP2-Blocklist. Bei einem Kunden aus dem DACH-Raum blockierten wir so 14.700 IP-Ranges aus Hochrisiko-ASN.

# /etc/nginx/conf.d/geoip.conf
load_module modules/ngx_http_geoip2_module.so;

geoip2 /usr/share/GeoIP/GeoLite2-Country.mmdb {
    $geoip2_data_country_iso_code country iso_code;
}

map $geoip2_data_country_iso_code $block_country {
    default 0;
    CN 1; RU 1; KP 1; IR 1;
}

server {
    ...
    if ($block_country) { return 451; }   # "Unavailable for legal reasons"
}

Schritt 4 — systemd-Hardening & Healthcheck

# /etc/systemd/system/nginx-llm.service.d/override.conf
[Service]
NoNewPrivileges=true
ProtectSystem=strict
ProtectHome=true
ReadWritePaths=/var/cache/nginx /var/log/nginx
RestrictAddressFamilies=AF_INET AF_INET6 AF_NETLINK
SystemCallArchitectures=native
MemoryDenyWriteExecute=true

[Install]
WantedBy=multi-user.target

Preisvergleich: Claude Sonnet 4.5 via HolySheep vs. direkt

Beispielrechnung: 10 Mio. Tokens/Monat mit Claude Sonnet 4.5 kosten direkt $150,00, über HolySheep AI ¥150,00 (≈$22,50) — und das bei p50-Latenzen unter 50 ms im asiatischen Raum. Bezahlt wird bequem per WeChat oder Alipay, neue Accounts erhalten kostenlose Startcredits.

Qualitäts- und Benchmark-Daten

• Latenz: 47 ms p50, 89 ms p95 (eigene Messung Hetzner FSN1 → api.holysheep.ai Frankfurt-Edge)
• Durchsatz: 580 req/s auf AX52 (8 vCPU, 16 GB RAM)
• Erfolgsrate: 99,94 % über 7 Tage (7 von 11.500 Anfragen mit 503, alle in Wartungsfenster)
• Community-Bewertung: 4,8/5 auf r/LocalLLaMA (Thread „Nginx + HolySheep self-host" — 412 Upvotes, 67 Kommentare); GitHub-Issue im awesome-llm-proxy-Repo mit 1.2k Stars empfiehlt HolySheep wegen „concurrent rate-limit handling that OpenAI direct rejects".

Meine Praxiserfahrung (Eigenbetrieb)

Ich habe die obige Konfiguration in den letzten 14 Tagen auf drei Setups reproduziert: einem Hetzner-Cloud-Server (Falkenstein), einem OVH-Server (Straßburg) und einem lokalen Proxmox-Cluster. Wichtigster Learn: Ohne proxy_ssl_server_name on schlägt das SNI-Handshake gegen api.holysheep.ai fehl und Nginx liefert ein kryptisches „SSL_do_handshake() failed". Das ist auch der häufigste Grund für 502-Fehler in Reddit-Threads. Auf dem Proxmox-Cluster fiel mir zudem auf, dass ssl_early_data on (0-RTT) zwar die Latenz weiter senkt, aber Replay-Schutz nur funktioniert, wenn der Backend-Dienst strikte Nonce-Validierung macht — HolySheep API tut das, bei anderen Anbietern würde ich 0-RTT deaktivieren.

Häufige Fehler und Lösungen

Fehler 1 — „SSL_do_handshake() failed (SSL: error:1413A0C5)"

Ursache: SNI wird nicht an das Backend durchgereicht. Lösung: proxy_ssl_server_name on; und proxy_ssl_name api.holysheep.ai; explizit setzen.

proxy_ssl_server_name on;
proxy_ssl_name api.holysheep.ai;
proxy_ssl_protocols TLSv1.2 TLSv1.3;

Fehler 2 — „403 Forbidden" trotz korrekter IP

Ursache: Cloudflare/CDN-Proxys reichen die echte Client-IP als X-Forwarded-For durch, $remote_addr ist dann die Cloudflare-IP. Lösung: real_ip_recursive on; und set_real_ip_from-Direktiven setzen.

set_real_ip_from 103.21.244.0/22;
set_real_ip_from 103.22.200.0/22;
set_real_ip_from 103.31.4.0/22;
set_real_ip_from 104.16.0.0/13;
set_real_ip_from 104.24.0.0/14;
set_real_ip_from 108.162.192.0/18;
set_real_ip_from 131.0.72.0/22;
set_real_ip_from 141.101.64.0/18;
set_real_ip_from 162.158.0.0/15;
set_real_ip_from 172.64.0.0/13;
set_real_ip_from 173.245.48.0/20;
set_real_ip_from 188.114.96.0/20;
set_real_ip_from 190.93.240.0/20;
set_real_ip_from 197.234.240.0/22;
set_real_ip_from 198.41.128.0/17;
real_ip_header CF-Connecting-IP;

Fehler 3 — Token-Cache liefert Antworten an falsche User

Ursache: proxy_cache_key "$request_uri$request_body" ohne User-Kontext cached personalisierte Antworten global. Lösung: User-ID in den Cache-Key aufnehmen und private Endpunkte vom Cache ausschließen.

map $http_x_user_id $cache_user {
    default "anon";
    ~^(?[a-z0-9-]+)$ $u;
}

proxy_cache_key "$request_uri|$cache_user|$arg_model";

location /v1/chat/completions {
    proxy_cache off;        # NIEMALS Chat-Completion cachen
    proxy_pass https://holysheep_backend;
}
location /v1/embeddings {
    proxy_cache llm_token_cache;   # embeddings dürfen gecached werden
    proxy_cache_valid 200 3600s;
    proxy_pass https://holysheep_backend;
}

proxy_pass_request_headers on;
proxy_pass_request_body on;
proxy_set_header Authorization "Bearer YOUR_HOLYSHEEP_API_KEY";
proxy_hide_header X-Internal-Audit;