首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >上下文工程 >上下文工程如何处理长上下文和超长对话?

上下文工程如何处理长上下文和超长对话?

词条归属:上下文工程

1. 压缩与摘要

  • 当窗口接近容量上限时,对完整轨迹做摘要,保留架构决策、未决缺陷与实现细节,丢弃冗余工具输出
  • 摘要可采用递归或分层方式,也可在智能体交接点、工具调用后做针对性压缩
  • 压缩的艺术在于选择保留什么、丢弃什么,过于激进的压缩可能丢失后期才显现关键性的微妙上下文

2. 裁剪与清理

  • 轻量级做法是剪枝:移除较早的消息、清理已处理工具调用的原始结果
  • 工具结果清理是最安全、最轻量的压缩形式之一:工具调用完成后,原始结果无需再占窗口
  • 部分平台提供自动压缩能力,当上下文超过阈值(如 95% )时自动触发

3. 外置与按需读回

  • 把长程状态、计划、进度写入文件或外部存储,必要时读回,而非全部留在活动窗口
  • 结构化笔记(如 NOTES.md 、ROADMAP.md )让智能体跨数十次工具调用保持关键上下文与依赖
  • 子智能体架构把深度探索放在各自独立窗口中进行,只把浓缩结论(通常千余 token )返回主智能体
相关文章
月之暗面Kimi及超长上下文处理技术
​月之暗面科技有限公司(Moonshot AI)推出的AI模型「Kimi」是一款前沿的智能助手,具备多项先进特性和功能:
用户7353950
2024-05-10
5.1K0
如何用Infini-attention实现超长上下文Transformer
图 1:Infini-attention 添加了一个线性注意力的压缩记忆单元,用于处理无限长的上下文。{KV}s−1 和 {KV}s 分别是当前和之前输入段的注意力键和值,Qs 是注意力查询。PE 表示位置嵌入。
BBuf
2024-04-26
1.4K0
超长上下文模型知识库实战
承接上一篇《数据库接入大模型实战》,除了上述优化方案,还有一种更直接的方法:使用超长上下文的模型,将资料直接拖入对话框,让AI自动检索。
程序员NEO
2025-05-05
7822
VFP AI 插件:超长上下文的识别(二)
距离上一篇VFP AI 插件:超长上下文的识别(一)有些时间了。经过不断的试错和优化,终于完成了 VFP AI 插件的超长上下的识别。将时间从数小时压缩至最多几十分钟。
firstxinjie
2026-03-10
1450
VFP AI 插件:超长上下文的识别(一)
对于 DeepSeek 而言,其大小为 128K(=128000 token)。尽管大多数情况下,对于单轮对话它是足够的,但是对于一些类/类库,甚至对于整个 VFP 项目来说,它太小了。因此,需要将单轮对话在执行时,转换为多轮对话。
firstxinjie
2026-03-10
2100
点击加载更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券