先说一个很多团队交了几年学费才发现的事实:OpenAI、Anthropic、Google 三家的官方 API,都明确提供"批处理半价"政策——把不需要即时返回的请求打包成批次异步提交,token 单价直接砍半。如果你的业务里有离线场景(内容审核、文档摘要、数据标注、评测跑分),这一半成本现在大概率正在被你白白多付。
这篇文章把这三大平台的批处理折扣政策、适合什么任务、具体怎么调、有哪些坑,一次讲清楚。所有折扣数据都来自各平台官方文档,可直接查证。
核心要点
一句话总结:Batch API 用"异步排队"换"半价结算",三大官方平台政策一致:50% 折扣 + 24 小时完成窗口,离线任务的实际成本可以立刻降到原来的一半。
- 涵盖内容:三大平台折扣政策对照、任务适配判断清单、5 步实操流程、6 个常见坑、与提示缓存叠加省钱
- 适用读者:有离线批量处理需求的开发者、技术负责人、正在控制 AI 账单的团队
- 阅读时间:约 10 分钟
什么是 Batch API:用"等得起"换"打对折"
常规的同步 API 是一问一答:你发请求,服务器实时算完立刻返回,你为这种"即时性"付全价。Batch API 的逻辑完全不同:你把成百上千个请求打包成一个文件上传,平台把它们排进异步队列,在算力空闲时段处理,24 小时内返回结果。你让出的只是时间,换来的是结算价直接打五折。
三家的官方政策放在一张表里对照:
| 平台 | 批处理折扣 | 完成窗口 | 官方文档 |
|---|---|---|---|
| OpenAI(Batch API) | 同步价的 50% | 24 小时内 | Batch API 官方指南 |
| Anthropic(Message Batches API) | 标准价的 50% | 最长 24 小时,多数更快 | Batches API 官方指南 |
| Google(Gemini Batch Mode) | 同步价的 50% | 24 小时目标 | Batch Mode 官方指南 |
| DeepSeek(错峰优惠) | 曾推出低时段折扣,力度与时段以定价页为准 | 同步接口低时段计费 | 见 DeepSeek 平台页实时价格 |
注意最后两行的区别:OpenAI/Anthropic/Google 是"异步批处理"模式,DeepSeek 走的是另一条路——同步接口的错峰计费,凌晨低时段价格更低。两种思路殊途同归:把"即时算力"让位给"闲时算力",就能拿到折扣。
GPU 算力的痛点是波峰波谷:白天实时请求把集群打满,深夜算力大量闲置。批处理本质上是平台拿"闲时算力"做套利,把省下来的钱分给你一部分。理解了这个逻辑,你就明白为什么折扣能长期存在——这是双方各取所需,不是促销。
哪些任务适合批处理?一张判断清单
不是所有任务都能塞进批处理。核心判断标准只有一条:这个请求"等得起"吗?按这条标准,我把常见离线场景分成两列:
| 适合批处理(等得起) | 不适合批处理(等不起) |
|---|---|
| 历史内容批量审核/打标签 | 聊天机器人、实时客服 |
| 文档库批量摘要、翻译 | 实时内容审核、风控判断 |
| 训练数据批量标注、清洗 | Agent 多步调用链(步与步有依赖) |
| 批量生成 Embedding 建向量库 | 流式输出的交互式应用 |
| 模型评测跑分、回归测试 | 对延迟敏感的任何在线流程 |
| 定时报告、日报周报生成 |
一个实用的自查方法:翻一下你们业务的调用日志,统计有多少请求的响应在 5 分钟之后才被"用到"。我们见过不少团队盘完日志才发现,超过一半的调用量其实来自夜间定时任务和历史数据处理——这部分全部可以转批处理。
5 步实操:以 OpenAI Batch API 为例
流程五步,Anthropic 和 Gemini 的流程几乎一样,只是接口名不同:
第 1 步:把请求写成 JSONL 文件
每个请求一行 JSON,包含 custom_id(你自己定义的任务编号)和 method/url/body 三个字段:
{"custom_id": "task-001", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "gpt-4o-mini", "messages": [{"role": "user", "content": "总结这段文档的要点:……"}]}}
{"custom_id": "task-002", "method": "POST", "url": "/v1/chat/completions", "body": {"model": "gpt-4o-mini", "messages": [{"role": "user", "content": "总结这段文档的要点:……"}]}} 第 2 步:上传文件,purpose 必须是 batch
curl https://api.openai.com/v1/files \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-F "purpose=batch" \
-F "[email protected]" 第 3 步:创建批处理任务
curl https://api.openai.com/v1/batches \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{"input_file_id": "FILE_ID", "endpoint": "/v1/chat/completions", "completion_window": "24h"}' 第 4 步:轮询状态
任务状态会依次经过 validating → in_progress → finalizing,最终变成 completed(或 failed/cancelled)。生产环境建议用定时轮询或 webhook 通知,别写死循环硬等。
第 5 步:下载结果
completed 之后从响应体拿到 output_file_id,下载结果 JSONL。每行都带原始 custom_id,方便你把结果对回任务。结果文件有保留期限(约 29 天),过期自动删除,务必及时取回。
6 个新手常踩的坑
坑一:把交互式流量塞进批次。用户正在聊天,你把回复丢进批处理队列,用户等了 40 分钟。批处理只能用于"结果延后消费"的场景,判断标准回看上面的清单。
坑二:以为 24 小时是平均耗时。24 小时是承诺上限。小批次通常几十分钟就完成,不用为了"省时间"放弃折扣。
坑三:任务失败不做兜底。批次里个别请求可能失败(返回 error 而不是正常响应),结果文件要逐行校验,失败任务重试或走同步接口补跑,别假设 1000 条提交就有 1000 条成功。
坑四:结果文件过期没下载。前面说过,结果文件保留期约 29 天,过期平台自动删除。建议任务完成的回调里自动转存到自己的存储。
坑五:没关注批处理的独立限流。批处理有单独的令牌配额池(如 OpenAI 的 Enqueued tokens 限制),大批量首次使用时先小批试跑,逐步放大,避免一上来就撞限流。
坑六:把"半价"当成"唯一省钱手段"。批处理和提示缓存可以叠加:批处理请求同样会命中 Prompt Caching,公共前缀(几千字的审核规则、Few-shot 样例)按缓存价计费后再打五折,两折叠加实际成本可以逼近原价的四分之一。关于缓存的具体玩法,见我们之前的提示缓存省钱实战。
算一笔账:批处理到底能省多少
举个典型的内容审核场景:一个团队每天要审核 10 万条用户生成内容,每条输入约 1000 token、输出约 100 token,用的是 OpenAI 平台的 mini 级模型。走同步接口全价计费;转批处理后 token 单价直接 ×0.5。再考虑批处理流量通常能命中提示缓存(审核规则前缀全场复用),综合下来月账单普遍能降 40%-60%——具体数字取决于你的缓存命中率和模型档位。
如果你的用量更大,还可以再对比一层:官方直连 vs 聚合中转的差价。各渠道的实时价格我们每天在监控更新,可以直接在 TokenNexus 首页的价格对比表里查,也可以看 Gemini 平台页这类单平台页拿到当前定价详情。
第一优先级:夜间定时任务和历史数据处理(省得最多、改造最简单);第二优先级:评测跑分和 Embedding 批量生成;第三优先级:日报周报等定时生成类。先把第一类迁过去,一周就能在账单上看到变化。
FAQ 常见问题
Batch API 打五折会影响输出质量吗?
不会。Batch API 调用的是同一个模型、同样的参数,平台只是把请求排进异步队列避开高峰算力,官方文档明确批处理与同步接口的模型能力完全一致。你牺牲的只是时效,不是质量。
24 小时窗口是什么意思?任务真的要跑一天吗?
24 小时是承诺上限,不是平均耗时。几百到几千条请求的批次通常几十分钟到几小时完成。超窗任务会被终止,未开始处理的部分不计费(具体政策以各平台文档为准)。
哪些任务不适合用 Batch API?
交互式场景(聊天、实时客服)、时效敏感流程(实时审核、风控)、Agent 多步调用链。这些需要即时或按序返回,老老实实走同步接口。
批处理和提示缓存可以叠加省钱吗?
可以。批处理请求同样命中提示缓存,缓存命中部分按缓存价计费后再叠加半价折扣。带长公共前缀的任务(如固定审核规则),实际成本可以降到原价四分之一左右。
写在最后
在"如何降低 AI API 成本"这个话题里,提示缓存、模型降级、Batch API 是三个投入产出比最高的杠杆,而 Batch API 是其中最容易被忽略的一个——因为它不写在定价页最显眼的位置,而是藏在文档角落。折扣是官方长期政策而非促销,值得现在就把离线流量迁移过去。今晚可以动手的三件事:翻调用日志找出"等得起"的流量占比、挑一个小批次试跑 Batch API、把结果下载和失败重试做成自动化。跑通之后,把剩下的批量流量全部迁过去,你的月账单会替你回答"值不值"。
更多成本优化方法可以继续阅读:GEO 生成式引擎优化实战讲的是怎么让 AI 帮你带新客户(开源),本文讲的是节流,两手都要抓。平台价格实时对比见 TokenNexus 首页,方法论合集见攻略频道。