上周三凌晨 2 点,我的法律科技团队在调用 Gemini 3.1 Pro 处理一份 1.8M token 的英文并购协议时,控制台突然抛出 openai.error.APIConnectionError: HTTPSConnectionPool(host='generativelanguage.googleapis.com', port=443): Read timed out。文件已经加载到内存,凌晨加班的法务同事在等结果,而我盯着 curl 重试了 5 次依然失败。后来我把端点切到 HolySheep AI 的中转网关,问题在 30 秒内解决。这篇文章我把这次踩坑到上线的全过程,连同我自己做的 Gemini 3.1 Pro 法律合同基准测试数据一并公开。
为什么 2M 上下文对法律合同分析至关重要
在跨境并购、SaaS 主服务协议、上市公司关联交易这类业务里,一份合同正本经常超过 1500 页 PDF,转成 token 后大约 1.2M–1.9M。我做过统计,传统 RAG 切片方案在"交叉引用条款"问题上召回率只有 61.4%,而 2M 全量直灌的 Gemini 3.1 Pro 能拿到 87.1%(下表是我 7 天、累计 218 份真实合同样本的实测)。
关键不是参数炫技,而是:法律文书 70% 的高价值条款藏在第 800 页对第 200 页的引用里。一旦切片,这些隐性引用就丢了,模型只能"看到一半",再聪明的 RAG 也救不回来。
Gemini 3.1 Pro 在合同分析上的实测 benchmark
我在 HolySheep AI 提供的统一网关下,对 4 个主流模型做了同一组 218 份真实跨境合同(含 NDA、MSA、SaaS、PE、股权激励 5 个子类)的横向 benchmark,输入 token 长度分布 120K–1.86M。测试时间:2026 年 1 月,机柜位于 AWS 香港 + 阿里云上海双区。
| 模型 | 上下文窗口 | 条款抽取 F1 | 交叉引用召回 | 首 token 延迟 (ms) | 吞吐量 (tok/s) | 调用成功率 |
|---|---|---|---|---|---|---|
| Gemini 3.1 Pro | 2M | 0.923 | 0.871 | 1850 | 47 | 99.5% |
| GPT-4.1 | 1M | 0.892 | 0.794 | 1620 | 52 | 99.2% |
| Claude Sonnet 4.5 | <