在线推理与批量任务两种计费场景：TokenHub 计费规则解析

摘要：

腾讯云 TokenHub 针对不同业务场景提供"在线推理"与"批量任务"两套独立的计费规则，前者用于实时交互、后者用于离线大批量处理。本文以官方文档数据为依据，对比两类场景的计费方式、价格差异、Cache 缓存与限流规则，并给出选型建议，帮助你按业务节奏选用最合适的计费组合，降低单位调用成本。

一、为什么要分成"在线推理"和"批量任务"两条线

把所有大模型调用都归为"按 Token 计费"，听起来简单，但实际上不同业务场景对响应速度、并发上限、单位成本的诉求差别很大：

a. 用户问答、客服会话、IDE 实时补全——必须毫秒级响应、可控 RPM；

b. 报告批量生成、数据集标注、夜间结构化抽取——可接受秒级或更长延迟，但希望单位成本越低越好。

腾讯云大模型服务平台 TokenHub 正是按照这个差异，把语言模型调用分成了在线推理场景与批量任务场景两套计费体系。两者使用的模型可以是同一个，但价格、限流、调用入口都各自独立。理解清楚这一点，是把每一分预算花在刀刃上的前提。

二、计费体系的整体框架

按官方文档，TokenHub 的计费体系按"模型类型 × 使用场景"划分：

Token 估算：中文约 1.8 字符 ≈ 1 Token；英文约 0.75 单词 ≈ 1 Token。视频生成 1 积分 = 1.2 元，3D 生成 1 积分 = 0.12 元。

本文聚焦语言模型的两类核心场景：在线推理与批量任务。

三、在线推理场景：为实时业务而生

3.1 适用业务

在线推理服务用于管理模型的使用方式，包括计费方式与限流方式。同一个模型可创建多个在线推理服务以区分不同业务，多个服务计费完全独立。

a. C 端对话、客服机器人；

b. IDE / 编辑器中的代码补全；

c. 文档实时润色与生成；

d. 智能体在线推理。

3.2 价格示例（在线推理）

按文档数据列出代表性价格（单位：元 / 百万 tokens）：

"—"代表当前模型暂不支持缓存或无对应分段。完整价目以文档为准。

3.3 在线推理的几个关键规则

a. 结算周期：日结；

b. 同模型多服务：可创建多个在线推理服务，分别配置不同限流，计费相互独立；

c. 限流：每个模型有预置限流，可在模型详情页查看具体规则；

d. 生成失败不计费：视觉类模型生成失败不扣费；

e. 欠费处理：欠费会影响服务调用，详见控制台费用中心欠费说明。

四、批量任务场景：把单位成本再压一档

4.1 适用业务

批量任务场景适合对延迟不敏感、但量级巨大的离线处理：

a. 海量文档结构化抽取、摘要与标签化；

b. 数据集预处理、内容质检批量打分；

c. 知识库批量改写、搜索增强语料构建；

d. 夜间报告批量生成。

需要注意的是，Token Plan 仅限在 AI 工具中交互式使用，禁止用于自动化脚本或非交互式批量调用——大批量处理请走"在线推理"或"批量任务场景"。

4.2 价格示例（批量任务）

按文档数据，目前以 GLM 系列为代表给出批量任务价格（单位：元 / 百万 tokens）：

批量任务场景价格通常约为在线推理价格的 50%。其他模型批量任务价格以控制台展示为准。

4.3 直观对比

以 GLM-5（0–32k 区间）为例：

也就是说，把"夜间能跑完即可"的任务改走批量任务通道，单位成本可立省一半。再叠加 Cache 缓存命中（缓存价约为常规输入价的 1/4 ~ 1/10），整体节省幅度更明显。

五、两种场景如何选：四个判断维度

5.1 时延要求

a. 用户在等回复 → 在线推理；

b. 用户不在等（异步生成、定时任务） → 批量任务。

5.2 任务量级

a. 高频小请求、QPS 持续 → 在线推理 + 缓存优化；

b. 单次几十万到上亿 Token 量级 → 批量任务。

5.3 限流容忍度

a. 严格遵守 RPM 上限 → 在线推理 + 多服务隔离；

b. 可接受排队执行 → 批量任务。

5.4 成本敏感度

a. 业务对单位价格不敏感、追求体验 → 在线推理；

b. 业务对单位价格高度敏感（如内容生产管线） → 批量任务 + Cache 优化。

六、降本组合拳：四个常用动作

6.1 动作一：把缓存用对

DeepSeek-V4-Pro/Flash、Hy3 preview、GLM-5/5.1、Kimi-K2.5/2.6、MiniMax-M2.5/2.7 都支持 Prompt Cache。在请求中携带 prompt_cache_key（建议取业务侧 conversation_id）和 X-Session-ID Header，可显著提升缓存命中率，降低 TTFT 与单次成本。

6.2 动作二：System Prompt 保持稳定

不要在 system prompt 中写"今天是 2026 年 X 月 X 日"等动态内容；时间相关信息放到 user message。messages 中各消息的 role、个数、顺序保持稳定，新轮次只在末尾追加。

6.3 动作三：长上下文走分段

部分模型按"输入长度"阶梯计价（如 GLM-5 的 0–32k 与 32k+ 两档）。把超长输入合理拆分或精简，不仅降低 TTFT，也避免被算入更高单价的档位。

6.4 动作四：合理混搭按量与订阅

a. 测试期：先领新人 100 万免费 Tokens 验证业务可行性；

b. 个人开发期：考虑 Token Plan 个人版（活动单价 39 元 / 月起），相比 API 按量计费便宜 50%–80%；

c. 团队 / 企业期：评估 Token Plan 企业版，月预算 1000–20000 元 / 月可定，积分池统一管理，多 Key 分发。

七、控制台账单查询路径

a. 在 TokenHub 控制台 的"用量统计"页，按模型 / 服务 / API Key 维度查看用量；

b. 在腾讯云费用中心查看账单明细与发票；

c. 多业务、多团队场景建议为不同业务创建独立 API Key 与服务，便于按业务线拆分账单。

八、常见疑问

Q1：在线推理的多个服务计费是相互独立的吗？

是的。同一模型创建的多个在线推理服务，计费的开启 / 关闭、计费方式相互独立，方便按业务线分账。

Q2：批量任务和在线推理可以同时使用吗？

可以。常见做法是把"实时交互流量"放在线推理、"夜间数据处理流量"走批量任务，两条线并行而不冲突。

Q3：Token Plan 套餐能用于批量任务吗？

不可以。Token Plan 仅限在 AI 工具中交互式使用，禁止用于自动化脚本、自定义应用程序后端或任何非交互式批量调用场景。批量场景请使用"在线推理"或"批量任务"按量计费。

Q4：模型生成失败会扣费吗？

视觉类模型（图像 / 视频 / 3D 生成）生成失败不计费；语言模型按实际产生的 Token 计费。

Q5：批量任务的并发数怎么算？

具体限流以模型详情页规则与控制台展示为准，重度场景可联系销售或提交工单调整。

九、把计费策略当成业务设计的一部分

计费规则不是"上线后再算"的事——它直接决定模型选型、Prompt 写法、缓存策略乃至产品架构。把"在线推理 × 批量任务 × Token Plan"组合用好，相同业务量下的成本可能相差数倍。

更多详细规则可参考 TokenHub 计费方式文档 与 模型价格文档；新开通账号还可领取最高 100 万免费 Tokens 用于零成本验证：TokenHub 控制台。