怎么评估上下文工程的效果好坏？

1. 任务结果类指标

• 任务成功率：达到正确、完整结果的运行占比，是最终要达成的 Outcome 指标，应基于固定评测集对比每次改动前后
• 结果质量：幻觉率、证据引用准确率、摘要丢失率、关键字段遗漏率
• 工具质量：错选工具、漏调工具、参数错误、重复调用与危险操作拦截率

2. 上下文质量类指标

• 上下文命中率：智能体是否检索到了所需事实
• 检索精确率与召回率：入选窗口的内容中有多少真正相关（精确率），可用相关内容中有多少被拉入（召回率）
• 上下文新鲜度：智能体看到的数据有多新；接地失败率：输出缺少有效实体引用的频率
• 上下文效率：有用 token 与总 token 之比，比值过低说明在浪费算力与增加延迟

3. 成本与延迟类指标

• 上下文成本：输入 token 、输出 token 、缓存命中率、压缩后信息保留比例
• 延迟指标：首 token 延迟、端到端耗时、工具等待时间、p95 / p99 响应时间
• 窗口利用率：任务中窗口运行接近上限的程度，持续顶满预示上下文腐烂，是需压缩或隔离的前兆
• 检索相关性可用 nDCG 、MAP 等在保留查询集上评估，并辅以人工评测识别幻觉