做过一段时间大模型业务之后,我逐渐不再盯单价了。报价单上那个「每千 token 多少钱」看着清楚,真正让成本失控的却往往是三件不太起眼的事:一笔费用能不能被拆清楚、一次异常能不能被早点发现、一条路由策略能不能持续调。只看单一计费项,重试、空转、缓存没命中、租户串用、写废的 Prompt 这些隐性开销很容易被漏掉。
我后来把 API 网关当成一层「成本可观测的控制面」来用:从全局账往下钻到某个项目,再追到某一次请求,最后靠告警和模拟工具把降本动作闭环起来。下面按我平时用得最多的四类场景展开——日常看账、审计对账、异常处置、选型调优。文中那张测算表用的是假设参数,只为说明方法,别当成实测结论。
一、先看账:让账单会「说话」
成本治理的起点不是压价,而是让账单具备可解释性。多数聚合平台或自建网关都会在控制台铺一张用量总览:当天 token 消耗、周期费用、预算消耗比、调用成功率、429 与 5xx 占比、P95 延迟,再配一组可按小时、天、周、月切换的时序曲线。可对工程师来说,光知道「这个月花了多少」没有意义,真正要回答的是——哪条曲线什么时候抬的头,是哪个租户或哪个模型带起来的。
看板能不能拿来做生产排查,关键看多维过滤顺不顺手。下面是我排查时最常用的几类过滤维度,以及它们各自在场景里干什么:
过滤维度 | 排查时的用法 |
|---|---|
时间颗粒 | 在小时、天、周、月之间切换,结合同比、环比和预算线找拐点 |
模型分类 | 按模型族、版本或路由策略汇总输入与输出 token |
租户或团队标签 | 用 tenant、team、project、cost_center 把费用归集到归属方 |
调用属性 | 看 route、status_code 和 P95 延迟落在哪个区间 |
计费属性 | 把常规输入、缓存命中、生成输出、重试产生的 token 分列 |
光有平铺过滤还不够,层级下钻才贴近真实排查。我通常从账户总览发现某处费用峰值,进团队维度,再依次下钻到项目、API Key,最后落到某个时间窗里的原始调用日志。比如某 RAG 知识库项目周三晚上输出 token 突然涨,就能一路拆到具体模型版本和那把 Key,而不是对着月总账单瞎猜。多租户隔离和标签打得越细,往后的财务分摊、项目复盘和预算控制就越省心。
二、再对账:账单要能追到每一次请求
汇总报表适合看趋势,可一旦要审计、对账、处理争议,还是原始调用日志更可靠。财务或客户常追问的几句话——这笔钱对应哪些请求、重试有没有被重复计费、某个项目是不是偷偷调了高成本模型——没有结构化日志的话,最后全得靠人工翻。一条规范的调用日志,至少要覆盖请求标识、租户和项目、模型、token 拆分、延迟、状态码和费用字段,比如这样:
{
"timestamp": "2026-03-18T14:22:31.482+08:00",
"request_id": "req_7f3c9a2e", "trace_id": "trace_9b1d4c81",
"tenant_id": "tenant_acme", "user_id": "u_10293",
"project_id": "proj_rag_kb", "api_key_id": "ak_live_39f1",
"route": "/v1/chat/completions", "model": "llm-small-32k",
"prompt_tokens": 1840, "completion_tokens": 326, "total_tokens": 2166,
"cache_hit_tokens": 512, "latency_ms": 1280,
"status_code": 200, "retry_count": 0,
"cost": 0.004922, "currency": "CNY"
}
对应的计费可以拆成一个很朴素的公式(按百万 token 计价时把分母换成 1,000,000):
cost = (prompt_tokens - cache_hit_tokens) × 输入单价
+ cache_hit_tokens × 缓存单价
+ completion_tokens × 输出单价
若还有阶梯价、批量折扣或路由附加费,在结果上乘对应折扣因子即可。这里有两个我踩过的坑:重试请求建议按 request_id 加 retry_count 归集,否则客户端重试会被误判成真实业务增长;错误请求则按平台计费策略单独标记。日志最好能导出 CSV、Parquet 或通过 Webhook 推送,方便和内部财务系统做分摊,也能用 trace_id 关联 APM 链路,快速定位高延迟或高费用请求。
三、勤告警:别等月账单出来才行动
我见过的成本异常大致分两类:一类明显越过预算水位,另一类预算没超但相对基线突然跑偏。前者用静态阈值守,后者更适合动态检测。
静态水位用来守底线:项目日预算、单 Key 日 token 上限、单租户并发、QPS、P95 延迟、429 与 5xx 比例这些,设成 70% 预警、90% 限流或通知负责人,能把大部分预算失控挡在月中。
动态检测则专门抓「没超预算、行为却不对劲」的流量。我会按 tenant、model、Key 和小时粒度建 EWMA 或中位数 MAD 基线,去识别突增突降、短时高频、输出 token 异常拉长这类模式。最典型的两种排错:
一是客户端重试风暴。QPS 一下抬起来,429 和 5xx 变多、retry_count 明显偏高,但唯一 request_id 增长有限——这时该上指数退避加抖动、重试预算、幂等键和熔断。二是 token 泄露或 Agent 死循环。某把 Key 凌晨调用量异常,prompt 很短但频次极高,或同一 trace_id 下反复打同一个模型——处理办法是轮换 Key、IP 白名单、单 Key 配额、max_tokens 上限和循环调用保护。
还有一点常被忽略:告警别只发邮件。最好接进 IM、Webhook 或 on-call 工单,并支持告警抑制与聚合,否则一次重试风暴能给你打出成百上千条重复通知,反而把真问题淹没了。
四、会调优:从看账单转向调策略
等日志和标签体系稳定下来,就可以往前走一步做用量预测和模型替换模拟。预测侧基于历史时序做周季节性和趋势分解,给出未来 30 天的预算区间;模拟侧调一调路由比例、模型档位、缓存命中率、prompt 压缩率和输出上限,估算月度成本与 P95 延迟之间的权衡,再决定要不要上线。
以一个假设的 RAG 智能客服场景为例(下面均为示例测算,仅说明方法):月请求约 400 万次,平均输入 2600 token、输出 400 token。用一个分类器把约 55% 的 FAQ 类请求分流到小模型,同时对检索片段去重压缩、提高语义缓存命中,并给 FAQ 场景设更严的输出上限。一轮下来,月度 token 成本指数从 100 降到约 61.4,降幅约 38.6%,P95 延迟也从示例的 2.8s 降到约 2.3s:
指标 | 优化前 | 优化后 |
|---|---|---|
月请求量 | 400 万 | 400 万 |
路由策略 | 100% 大模型 | 45% 大模型 / 55% 小模型 |
月度 token 成本指数 | 100 | 61.4 |
成本降幅 | — | 约 38.6% |
P95 延迟 | 2.8s | 约 2.3s |
不过这种降本一定要配一句前提:上线前拿离线验证集和 A/B 实验确认解决率没有明显下降。别为了省 token,把体验也一起省没了。
结语与行动指引
绕了一大圈,我最深的体会是:所谓「最划算」的 API 接入,从来不是找到最低价,而是搭起一套可追溯、可告警、可模拟、可优化的闭环。如果你手上正有一个网关或正在选聚合平台,我建议先做三件小事——给项目和团队补齐标签,把预算和异常告警配好,再导出调用日志跟财务、APM 系统对一次账;跑顺之后用模型替换模拟器试一轮分流方案,小流量验证再放量。这套方法对自建网关和同类产品都通用。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。