首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >多轮对话的 token 到底花在哪:一次 10 轮客服会话的完整实测

多轮对话的 token 到底花在哪:一次 10 轮客服会话的完整实测

作者头像
治历科技
发布于 2026-11-09 13:26:45
发布于 2026-11-09 13:26:45
1570
举报
概述
多轮对话的成本优化,大部分文章都在讲同一件事:裁历史。滑动窗口、摘要压缩、只带最近几轮。 我拿一个客服机器人的 10 轮对话真数了一遍 token。历史记录只占输入总量的 10.4%。 真正的大头在别的地方。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 场景
  • 先看每轮的账
  • 发现一:一半的输入,是不变的那部分
  • 发现二:裁历史到底能省多少
  • 发现三:摘要是花钱买上下文,不是省钱
  • 那到底该怎么做
  • 一个可用的实现
  • 这笔账的结论
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档