# 智能体评测指标：如何衡量一个会行动的模型

大模型评测回答的是一个相对单纯的问题：给定输入，输出好不好。到了智能体，问题变了——给定一个目标，它有没有把它做成。

这两句话之间的差距，就是智能体评测的全部复杂度。智能体不再只产出一段文本，它会拆解目标、选择工具、传参调用、读取返回、修正计划、写入状态，最后才给出交付。评测对象因此从**一次输出**变成**一条轨迹**，从「文本质量」扩展到「决策质量、执行质量、行为边界与资源代价」。相应地，指标也不能再靠一两个准确率撑起来，而需要一套分层的度量体系。

本文梳理这套体系：七个维度、二十九项指标，以及每一类指标背后的计算口径、判定难点与落地要点。

---

## 一、评测对象变了，指标的形状也要变

把智能体评测与传统模型评测放在一起，有三处结构性差异，几乎决定了整套指标的设计。

**第一，判定依据从输出扩展到轨迹。** 像「该调用工具时是否调用、参数填得对不对、有没有重复调用同一接口」这类问题，光看最终回答完全无法回答。必须记录完整的执行轨迹：每一次工具调用的事件、参数、返回结果、状态码和时间戳。没有轨迹，过程类指标全部失效。

**第二，很多指标依赖主动构造测试数据，而不是被动收集日志。** 越狱攻击集、诱导泄露用例、提示注入样本、故障注入、边界输入、长上下文里插入的唯一事实、预先种入的记忆条目——这些不是线上自然产生的数据，必须由评测系统主动造出来。测试集本身因此成为需要版本化管理的评测资产。

**第三，随机性必须被显式测量。** 同一个用例跑两次结果可能不同，单次运行的结论不可复现。所以可靠性维度里同时放进了三个指标：能力上限、稳定交付能力、输出一致性，三者合起来才是一幅完整的可靠性画像。

在此基础上，七个维度可以归成四层：

| 层次 | 维度 | 回答的问题 |
| --- | --- | --- |
| 结果层 | 任务完成质量 | 事情做成了吗？内容可信吗？ |
| 过程层 | 任务完成效率、规划与推理能力、上下文管理能力 | 决策、工具、推理、记忆这些能力撑得住吗？ |
| 保障层 | 可靠性与鲁棒性、安全性 | 重复跑、出异常、被攻击时还守得住边界吗？ |
| 感受层 | 用户交互体验 | 交付形式让人用得顺吗？ |

一个容易被忽略的事实是：这些指标**方向并不统一**。幻觉率、冗余调用率、响应时延、Token 消耗、首次响应时间、敏感信息泄露率、权限越界率、上下文遗忘率都是越低越好，其余绝大多数越高越好；量纲还横跨百分比、毫秒、Token 数、概率、相似度和 1–5 分评分。因此聚合前必须逐项声明方向、单位与归一化函数，直接把原始分求平均是没有意义的。安全性尤其适合做成**门禁项**而不是加权分项——一个存在权限越界的智能体，不该因为别的维度得分高而被判为合格。

---

## 二、结果质量：任务完成率、幻觉率、答案准确率

结果层最核心的三个指标，分别对应「做没做成」「有没有编」「答得对不对」。

**任务完成率** = 成功完成任务数 / 总任务数 × 100%。以测试用例集为基准，成功标准由人工标注或自动化校验判定。它看起来最简单，实际最难：多意图任务里，完成了三个子目标中的两个算不算成功？把「成功」强行压成布尔值，会丢掉大量信息。实践中更稳妥的做法是把成功标准拆成子目标清单，用要点覆盖率代替二值判定，并在标注规范里明确定义「部分成功」的记分规则。

**幻觉率** = 含幻觉的输出数 / 总输出数 × 100%。判定方式是把输出与标注事实集比对，可以借助事实核查工具或人工抽检。它衡量的是事实忠实度，也是智能体最关键的质量风险——因为智能体的输出往往会触发后续动作，一段虚构信息可能直接变成一次错误调用。

**答案准确率** = 正确数 / 总数 × 100%。将输出与标准答案集比对，用精确匹配或语义相似度评分。

三者不是替代关系：任务完成率看整体交付，答案准确率看结论是否正确，幻觉率看论证过程里有没有掺入不存在的事实。一个结论正确、但中间引用了虚构数据的回答，答案准确率会放行，幻觉率不会。

---

## 三、过程效率：工具用得对不对，代价有多大

### 3.1 工具调用准确率：用集合比对代替「数次数」

早期做法常把「有没有触发工具」和「调用了几次」拆成两个指标，前者只看决策、后者只看数量，都容易失真：调用了不该调用的工具，触发率可能依然是满分；同一个接口反复调，次数指标又只能告诉你「多了」而不能告诉你「哪次是错的」。

更合理的口径是把它们合成一次集合比对。先在测试用例上预标注三件事：期望工具集合、每个工具的期望调用次数、不应调用的工具黑名单；再把轨迹里的实际调用与标注比对：

```
Precision   = 正确调用数 / 实际调用总数
Recall      = 正确调用数 / 期望调用总数
F1          = 2·P·R / (P + R)
次数偏差     = |实际次数 - 期望次数| / 期望次数   # 作为辅助维度
```

这样，少调用体现为 Recall 下降，滥调用体现为 Precision 下降，多调少调用次数偏差兜住。

两个实现上的坑必须提前处理。一是**等价工具组**：日历 API 与邮件 API 在某些场景下可以互换，若不预声明，合法路径会被判成错误选择。二是**多解路径**：复杂任务的执行路径可能合理但与预标注不同，标注结构需要支持容差或允许路径集合，否则 F1 会被系统性压低。

### 3.2 其余过程指标

- **调用执行成功率**：工具网关状态码、异常类型与结果完整性检查，成功调用数 / 总调用数。它衡量的是「调用出去了且拿回有效结果」，与「该不该调用」是两回事。
- **参数正确率**：Schema 校验、参数规则、隐藏上下文与人工抽检综合评分。参数满足格式不等于满足语义，比如日期字段合法但取错了上下文里的年份。
- **冗余调用率**：相邻调用去重、缓存命中分析与轨迹规则，冗余调用数 / 总调用数。判据是无新增信息、重复参数或本可复用结果。

### 3.3 时延与成本：必须报分位数

**响应时延**是请求到完整响应的端到端耗时，**首次响应时间**是请求到首个有效输出的时间（流式场景下更影响体感），**Token 消耗量**是单任务输入与输出 Token 之和取任务粒度均值。

这三项都该报 **P50 / P95 / P99** 而不是均值。一个 P50 = 800ms、P99 = 12s 的系统，均值可能看起来完全正常，但真实用户体验由长尾决定。同理，Token 均值要配合分位数看，才能发现少数任务把上下文撑爆导致的成本尖峰。

顺带一提，把时延、Token 这类资源消耗放在「效率」维度下是常见做法，但它们与「工具决策是否正确」属于不同性质：前者是代价，后者是质量。做报告时最好分开呈现，避免用低时延掩盖高错误率。

---

## 四、可靠性：能力上限与稳定交付是两件事

同一个用例重复跑 k 次，可以问出两个不同的问题：**至少成功一次的概率**是多少（pass@k），以及**连续 k 次全部成功**的概率是多少（pass^k）。前者是能力上限，后者是稳定交付能力。

pass@k 的标准无偏估计是：

`pass@k = 1 − C(n−c, k) / C(n, k)`

其中 n 为总采样数，c 为 n 次里成功的样本数，k 为一次抽取的样本数。写成代码很直观：

```python
from math import comb

def pass_at_k(n: int, c: int, k: int) -> float:
    """n 次采样中 c 次成功，随机取 k 个至少有一次成功的概率"""
    if n - c < k:
        return 1.0
    return 1.0 - comb(n - c, k) / comb(n, k)
```

pass^k 的经验估计则是「全部成功用例数 / 总用例数」，本质是 `p^k` 的频率估计。两者要放在同一批独立 Trial 上计算（固定随机种子、温度，关闭缓存），否则数字之间不可比。

第三个指标**内容稳定性**衡量重复执行结果的一致程度：对多次运行的输出计算 Jaccard 相似度或语义向量余弦相似度取均值，分数方差越小越一致。它测的既不是「能不能做对」也不是「能不能每次做对」，而是「做对了之后说得像不像」。

三个指标联用，能把系统状态区分得很清楚：

| pass@k | pass^k | 内容稳定性 | 诊断 |
| --- | --- | --- | --- |
| 高 | 低 | 低 | 有能力但输出高度随机 → 降温度、加约束、加结果校验 |
| 高 | 高 | 低 | 都做对了但表述漂移 → 输出多样性问题，非正确性问题 |
| 低 | 低 | 高 | 稳定地做错 → 能力缺陷，调参无效，需改模型或工具 |
| 低 | 低 | 低 | 全面不可靠 |

可靠性维度还有两项场景化指标：**异常恢复率**通过故障注入观察可恢复故障后是否仍能完成任务；**边界条件处理率**用空输入、超长输入、异常参数等边界用例集统计正确处理比例。这两项的共同点是，测试集构造的质量直接决定指标的可信度——注入的故障如果都是不可恢复的，恢复率天然为 0，指标就失去了意义。

---

## 五、安全性：会行动的系统必须有边界

智能体与传统聊天模型最本质的区别，是它能调用工具、写入状态、触发副作用。一次提示注入的后果可能不是「说错话」，而是「执行了一个未授权操作」。因此安全性在这套体系里不是附加项，而是五个独立指标、且全部属于必要级。

| 指标 | 计算口径 | 关注的风险 |
| --- | --- | --- |
| 越狱攻击抵御率 | 成功抵御数 / 攻击总数 | 绕过系统约束 |
| 敏感信息泄露率 | 泄露事件数 / 总测试数 | 系统提示、API 密钥、用户隐私外泄 |
| 有害内容拦截率 | 成功拦截数 / 有害请求总数 | 违法违规内容生成 |
| 权限越界率 | 越界操作数 / 总操作数（对比操作日志与权限配置） | 执行超出授权范围的操作 |
| 提示注入防御率 | 防御成功数 / 注入总数 | 被注入内容劫持后偏离原始任务目标 |

这里有个方向陷阱：抵御率、拦截率、防御率是越高越好，泄露率、越界率是越低越好，混在一张表里求平均会得到荒谬的结果。正确做法是先把所有指标统一成「风险发生率」或统一成「防护成功率」，再谈聚合。

另外，权限越界率的分母是「总操作数」，其余四项分母各不相同（攻击总数、测试数、有害请求数、注入总数）。跨指标比较前需要归一化到统一基准，比如每千次请求的风险事件数。

---

## 六、规划、推理与意图理解

**推理逻辑正确性**衡量推理链条是否自洽。做法是把智能体的推理步骤（CoT）提取出来，交给 Judge 模型逐步验证每一步结论能否从前提推出；对可分解的任务，还可以拆成子问题逐个校验中间结果，最后统计正确步骤数 / 总步骤数。这里最大的风险是 Judge 自身的推理能力会直接污染判定结果，所以上线前必须先与人工标注做一致性校准（Kappa > 0.7），并在运行中持续抽样回流复核。Judge 的提示词、模型版本与温度也应与分数一起留档，否则分数无法复现。

**意图识别准确率**把任务目标与标准意图比对，统计准确理解数 / 总任务数。它是一切下游行为的前提——意图错了，后面每一步都可能精确地做错。

**需求澄清能力**处理的是模糊意图：构造不指明对象、缺少关键参数的用例，观察第一轮响应是否主动澄清。判定上可以用「您是指」「请问」「能否明确」等关键词模式做初筛，再用 Judge 评估澄清问题的相关性与充分性。但关键词匹配只是召回手段，不能当判据——有些智能体会用间接方式澄清，纯关键词会漏检；而「澄清得是否合理」本身也需要一套标注规范来校准。

---

## 七、上下文与记忆：长对话里的信息保真

上下文管理是长对话与复杂任务的基础，四个指标分别盯住不同的失效模式。

**多轮对话一致性**：对每轮输出做 NER 实体抽取与关键主张提取，跨轮检测矛盾（实体属性冲突、数值不一致等），Judge 接收全部轮次并结构化输出矛盾位置，统计一致轮次 / 总轮次。长对话里实体消歧困难，因此必须事先定义「矛盾」的阈值，例如数值偏差超过 5% 才算矛盾，否则判定会随标注者主观浮动。

**长上下文理解率**：采用 Needle-in-Haystack 范式，在长上下文特定位置插入一条唯一事实，在末尾提问该事实，做精确或语义匹配。关键在覆盖矩阵——长度档位要覆盖 4K / 8K / 16K / 32K，插入位置要覆盖头部 / 中部 / 尾部。只测一个位置一个档位就报「95%」是没有意义的，needle 的位置和数量本身就决定难度。

**上下文遗忘率**：早期回合注入多条关键事实，经过若干轮无关对话后在后期提问，检查每条事实是否被正确引用，统计遗忘次数 / 总引用点数。干扰轮数（如 5 / 10 / 20 轮）与时间窗口必须固定并在报告里注明，语义匹配阈值也需要校准。

**记忆召回准确率**：在隔离环境里预种特定知识条目，定向提问只有依赖这些记忆才能回答的问题，做精确匹配或语义等价匹配。两个前提：预种记忆不能被模型自带知识或其他来源「污染」，否则无法判断回答到底来自记忆还是来自参数知识；语义等价要支持同义表达，否则会把正确召回误判为失败。

这四个指标的计算逻辑其实都很简单，难点几乎全部在**测试集构造与变量控制**上。评测系统在这部分的投入，往往比写打分逻辑大得多。

---

## 八、从指标到系统：数据契约与评估器

把上面的指标落到工程实现，需要先定死一次评测的数据契约。最小集合大致是：用户输入与智能体输出、完整执行轨迹（工具事件 / 参数 / 返回 / 状态码 / 时间戳）、运行元数据（请求与首字与完成时间戳、Token、操作日志、权限配置）、标注数据（参考答案、成功标准、事实集、标准意图、期望工具集与黑名单、参数 Schema）、以及构造型环境数据（故障注入日志、预种记忆、注入事实）。

```json
{
  "case_id": "case_0042",
  "trial_id": "case_0042_t03",
  "run_meta": { "request_ts": 0, "first_output_ts": 0, "complete_ts": 0,
                "input_tokens": 0, "output_tokens": 0, "seed": 42 },
  "input":  { "text": "...", "session_history": [] },
  "output": { "text": "...", "reasoning_steps": [] },
  "trace":  [ { "ts": 0, "type": "tool_call", "tool": "...",
                "args": {}, "result": {}, "status_code": 0 } ],
  "annotations": { "success_criteria": "...", "reference_answer": "...",
                   "expected_tools": [], "blacklist_tools": [] },
  "environment": { "fault_injection_log": [], "permission_config": {} }
}
```

有了契约，评估器可以按实现形态分成五类：

1. **通用判定器**——任务完成度、幻觉检测、正确性，直接对输入/输出/参考答案打分；
2. **规则与匹配器**——Schema 校验、关键词匹配、语义相似度、相邻调用去重；
3. **轨迹比对器**——把预标注与实际调用做集合比对，输出 Precision / Recall / F1 与次数偏差；
4. **LLM-as-Judge**——CoT 逐步验证、澄清相关性评分、跨轮矛盾检测，需人工一致性门禁；
5. **构造型测试框架**——NIAH 运行器、事实注入器、记忆预种器、故障注入器、攻击集执行器。

一次完整的评测流程是：按用例采样（必要时同一用例多次独立 Trial）→ 采集轨迹 → 调度对应评估器 → 归一化方向与量纲 → 按维度聚合 → 出报告。报告里应带上样本量、分位数、测试集版本与「未测指标」清单；缺少评估器的指标宁可标为未测，也不要默认记 0 分。

优先级在这里的作用不只是「重要性排序」，更是**评测预算的调度依据**：必要级指标每次回归全量跑并作为发布门禁，推荐级按版本或按周抽样观测，重复采样类因为成本随采样次数线性增长，适合单独排队离线批处理。

---

## 九、几个常见的坑

- **只报均值不报分位**：时延与 Token 的体验由长尾决定，均值会掩盖最严重的问题。
- **单次运行就下结论**：智能体有采样随机性，结论要建立在重复采样之上。
- **Judge 未校准就上线**：判定器自身的能力上限会变成指标天花板，先做人工一致性校准。
- **测试集不版本化**：攻击集难度、needle 位置、干扰轮数一变，分数就不可比，跨版本对比毫无意义。
- **负向指标混进总分**：泄露率、越界率、幻觉率与正向指标直接求平均，会得出方向错误的结论。
- **把安全项当加权分项**：安全是底线，适合做否决式门禁，而不是可以被其他维度补偿的加分项。
- **只看最终答案**：过程类问题（工具误用、参数错误、冗余调用）在最终输出里往往完全不可见。

---

## 十、结语

智能体评测的难点从来不是「想出足够多的指标名」，而是让每一项指标都能被稳定地算出来：有明确的分子分母、有可获取的依赖数据、有对应的评估器、有已披露的判定风险。定义、计算口径、依赖数据、已知陷阱这四件事齐了，指标才算从文档变成了系统。

落地顺序也值得强调：**先定轨迹数据契约，再补必要级指标的评估器（尤其是安全类），然后统一重复采样的预算与口径，最后才讨论权重与总分**。顺序反过来，分数出来也不可信。

而对这套体系最好的检验，是看它能不能回答一个很朴素的问题：这次版本改动之后，智能体到底是变好了，还是只是换了一种方式出错。

---


大模型评测回答的是一个相对单纯的问题：给定输入，输出好不好。到了智能体，问题变了——给定一个目标，它有没有把它做成。

智能体评测指标

人工智能

测试

算法

智能体评测需从七维度29项指标出发，覆盖结果质量、过程效率、可靠性、安全性与上下文管理，强调轨迹数据与分层度量。核心难点在于主动构造测试集、重复采样验证及指标归一化。建议优先定义数据契约，以安全门禁为核心，确保指标可计算、可复现，评估智能体是否真正进步而非单纯换种方式出错。

代码解释

智能体

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

智能体评测指标-腾讯云开发者社区-腾讯云

智能体评测指标

智能体评测指标

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐