治历科技
多轮对话的 token 到底花在哪:一次 10 轮客服会话的完整实测
原创
关注作者
腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
治历科技
社区首页
>
专栏
>
多轮对话的 token 到底花在哪:一次 10 轮客服会话的完整实测
多轮对话的 token 到底花在哪:一次 10 轮客服会话的完整实测
治历科技
关注
发布于 2026-11-09 13:26:45
发布于 2026-11-09 13:26:45
157
0
举报
概述
多轮对话的成本优化,大部分文章都在讲同一件事:裁历史。滑动窗口、摘要压缩、只带最近几轮。 我拿一个客服机器人的 10 轮对话真数了一遍 token。历史记录只占输入总量的 10.4%。 真正的大头在别的地方。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系
cloudcommunity@tencent.com
删除。
api文档
目录
场景
先看每轮的账
发现一:一半的输入,是不变的那部分
发现二:裁历史到底能省多少
发现三:摘要是花钱买上下文,不是省钱
那到底该怎么做
一个可用的实现
这笔账的结论
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档