大家好,我是一名在后端摸爬滚打 5 年的工程师。上个月我用 Claude Opus 4.7 搭了一个 AI 客服系统,最初首字延迟(用户提完问题到屏幕上看到第一个字的时间)高达 1180ms,用户疯狂吐槽"卡成 PPT"。我熬了三个通宵,最后靠"流式响应 + HTTP/2 连接复用"两个组合拳,把首字延迟压到了 276ms。今天我把整个过程拆开讲,哪怕你一行代码没写过,也能跟着做出来。
一、流式响应到底是啥?
你可以把流式响应想象成水龙头:
- 传统模式:API 一次性把整盆水泼到你面前,你要等水全接完才能喝。
- 流式模式:API 一边生成一边把数据"哗哗"推过来,你盯着屏幕就能看到字一个个蹦出来。
对 Claude Opus 4.7 这种生成长文本的模型来说,流式能把首字延迟从 1200ms 降到 300ms 左右,体验天差地别。
二、为什么一定要用 HTTP/2 连接复用?
HTTP/1.1 时代,每发一次请求都要"握手 → 发数据