上周三凌晨两点，我盯着阿里云控制台上那串跳动的数字，团队自建的 vLLM 推理集群再次抛出了 ConnectionError: timeout——AWS 上那台 p4d.24xlarge spot 实例被 AWS 回收了，而我们正在为一家跨境电商跑 DeepSeek 实时推荐。这种"凌晨抢救"在我过去一年里发生了 17 次，正是这次让我决定把 LLM 推理从自建 GPU 集群迁到 HolySheep API 上。本文会把这一年里我踩过的坑、自建的真实账单、以及切换到中转 API 后的成本对比一次性摊开。
为什么我们会用 GPU Spot 实例跑 LLM 推理
2025 年初，DeepSeek V3 爆火，我们决定把内部的客服 RAG、代码补全、向量召回全切到自建推理。当时算了一笔账：H100 80G 在 AWS 上 on-demand 要 $4.10/小时，spot 只要 $1.23/小时（70% 折扣），一个月 730 小时就能省下 $2,095。听起来很美好，于是我写了 Terraform 脚本批量拉起 spot fleet——直到 1 月份第一次被回收，凌晨三点 SLA 报警把我炸醒