Mirror：大语言模型元认知校准分层基准

Mirror：大语言模型元认知校准的分层基准

Mirror: A Hierarchical Benchmark for MetacognitiveCalibration in Large Language Models

https://arxiv.org/html/2604.19809v1

摘要

我们介绍了 MIRROR，这是一个包含跨越四个元认知水平的八个实验的基准，旨在评估大型语言模型是否能利用自我知识做出更好的决策。我们使用五个独立的行为测量通道，在大约 250,000 个评估实例上评估了来自 8 个实验室的 16 个模型。核心实验在整个模型名单上运行；具有专门基础设施要求的实验报告明确标记的模型子集。我们发现了两个对代理部署有直接意义的现象：(1) 组合式自我预测普遍失败——组合校准误差在原始 15 模型 Exp3-v1 集合中范围为 0.500 到 0.943（在平衡的 16 模型 Exp3-v2 扩展中为 0.434 到 0.758），表明模型无法预测自己在多领域任务上的表现；以及 (2) 模型表现出高于随机水平但不完美的特定领域自我知识，然而系统性地未能将甚至这种部分意识转化为适当的代理动作选择——外部元认知控制将自信失败率从 0.600 降低到 0.143（在温度 0 时减少 76%；在温度 0.7 时跨 4 个实验室的 5 个模型平均减少 70%）。向模型提供其自身的校准分数并未产生显著改进 (p > 0.05)；只有架构约束是有效的。这表明外部元认知支架——而非改进的自我知识——是通往更安全的自主人工智能系统的途径。代码、数据和 Croissant 元数据将随基准公开发布。

1 引言

将大型语言模型 (LLMs) 部署为自主代理预设了一种元认知能力形式：模型不仅必须知道它知道什么，而且必须将这种意识转化为适当的行动——在自信时继续，在不确定时升级至工具或人工审查。这一假设构成了建立在自我反思循环、基于自信的路由和宪法 AI 自我监控 (Perez et al., 2022) 之上的代理架构的基础。它是代理 AI 安全事业的基础。它尚未在多个元认知水平上进行系统测试。

先前的工作研究了大型语言模型的校准 [Kadavath 等，2022，Kapoor 等，2024]、不确定性估计 [Lin 等，2024] 和情境意识 [Laine 等，2024]。但这些研究解决的是不同的问题：校准衡量的是置信度是否与准确率相匹配；情境意识衡量的是模型是否知道它们是什么。虽然最近的工作已经开始探索模型是否能利用自我知识做出更好的决策 [Schmied 等，2025，Qiao 等，2025]，但还没有基准测试在多个元认知水平上系统地测试从监控到控制的完整流程——即从元认知监控到元认知控制的桥梁 [Nelson 和 Narens，1990] 是否完好。

我们引入了 MIRROR，这是一个分层基准，跨越四个元认知水平（原子级自我知识、跨领域迁移、组合预测和自适应自我调节）、八个实验和五个独立的行为测量通道。我们在大约 250,000 个评估实例上评估了来自 8 个实验室的 16 个模型。1 得出了三个发现。首先，组合式自我预测普遍失败：组合校准误差（CCE）在原始的 15 模型 Exp3-v1 集合中范围为 0.500 到 0.943，在平衡的 16 模型 Exp3-v2 扩展中为 0.434 到 0.758——在单一领域中校准准确的模型在组合这些校准以用于多领域任务时完全失败。其次，知行差距：模型表现出部分但高于随机水平的自我知识——能够准确识别相对领域的优势和劣势——但却没有据此采取行动。外部约束将自信失败率（CFR）从 0.600 降低到 0.143（降低了 76%）；向模型提供其自身的校准分数并未产生显著改进。第三，自我知识具有领域原子性：跨 11 个模型的迁移影响指数范围为 0.019 到 0.175，表明校准并没有有意义地跨越领域边界。

2 相关工作

大语言模型校准。Kadavath等人（2022）表明，大语言模型预测自身正确性的能力高于随机水平。Kapoor等人（2024）证明，需要微调才能实现可靠的校准。Steyvers等人（2025）发现元认知能力具有任务特异性，这与MIRROR的领域层面分析一致。MIRROR与所有先前校准工作的不同之处在于，它测试了校准是否能迁移到行动选择中：我们衡量了“知道”与“做”之间的差距。

自我知识与智能体评估。SAD（Laine等，2024）衡量身份意识；Barkan等（2025）在SWE-bench上测试了能力预测，发现了系统性过度自信。智能体基准（AgentBench（Liu等，2024）、OSWorld（Xie等，2024）、GAIA（Mialon等，2023b））评估执行质量；MIRROR衡量的是行动决策，将以校准为依据的决策作为主要结果。Schmied等（2025）独立识别出“知道-做”差距，并表明RL微调可以部分缩小这一差距；Qiao等（2025）测试了智能体在工具使用场景中何时能识别知识边界。MIRROR通过系统地衡量跨8个领域和4种升级条件下的监测-控制差距，对两者进行了扩展。

人工智能中的元认知。元认知提示（Wang和Zhao，2024）以及关于推理模型元认知的同期工作（Anonymous，2026b）通过自我反思提升了性能。近期关于元认知控制架构（MGV（Oh和Gobet，2025）、MEDCOG（Zhao等，2026））和显式安全支架（Anonymous，2026c）的研究，与MIRROR的发现（即架构约束优于自我知识暴露）一致。关于自我修正方法和选择性分类的扩展讨论见附录B。

3 MIRROR基准

MIRROR将大语言模型元认知分解为四个认知复杂度递增的层级，其灵感来源于人类元认知监控与控制的层级结构（Flavell，1979；Nelson & Narens，1990）。在每个层级，我们通过五个独立通道来衡量行为，以防止特定格式的投机取巧。

3.1 元认知层级

层级0——原子自我知识（校准）。模型能否针对给定领域中某个特定问题准确估计P（正确）？这是研究最充分的层级（Kadavath等，2022；Kapoor等，2024），也是MIRROR的基础。实验1建立了跨8个认知领域的每个模型、每个领域的校准概况。

层级1——跨领域迁移。领域A中的校准是否能迁移到隐含需要该技能的任务中？

层级2——组合性预测。模型能否预测在多技能任务上的表现？

层级3——适应性自我调节。模型是否将自我知识转化为适当的行动？这是元认知监控（了解自身局限）与元认知控制（据此采取行动）之间的关键差距——这一区分在人类认知中已有充分确立（Metcalfe & Finn，2008）。实验4、5、6和9测试自我知识是否能驱动行为改变、反馈适应、生态系统交互及智能体决策。

3.2 行为测量通道

单一的置信度引出格式（例如，口头“用1–10分为你的置信度打分”）容易受到提示特定行为的影响。MIRROR通过五个独立通道测量元认知行为，每个通道都需要一个单独的新上下文API调用：

1. 下注（Wagering）——模型按其置信度比例押注分数，计分方式会惩罚过度自信的错误答案。
2. 选择退出（Opt-out）——模型可以拒绝回答。跳过率应与错误率相关。
3. 难度选择（Difficulty selection）——给定两道题（一道简单、一道困难），模型选择尝试哪一道。
4. 工具委派（Tool delegation）——模型可以调用计算器、搜索引擎或标记为需人工审核，而不是直接回答。
5. 自然语言信号（Natural language signals）——从无约束的自由形式响应中提取的委婉语、不确定性标记词及响应长度。

元认知收敛指数（MCI）衡量各通道之间的一致性：五个通道是否都认同哪些问题对该模型来说是困难的？高MCI表示元认知内部一致；低MCI表示存在特定通道的伪迹。对于给定的（模型、领域、问题ID）三元组，所有五个通道使用相同的基础问题；仅引出格式不同。这控制了对题目难度的变量，并确保跨通道的不一致反映了测量格式的影响。表2提供了快速指标参考；正式定义见附录A。

3.3 实验

MIRROR包含涵盖全部四个元认知层级的八项实验。 完整的任务规范、提示词、评分量规及数据集工件均计划公开发布。

实验1：自我知识图谱（L0）。

涵盖8个领域的5,000道问题，通过全部5个通道进行测量。共16个模型。主要指标：MIRROR差距、MCI。

实验2：跨领域迁移（L1）。

每个模型约150项迁移任务。共11个模型；TII范围：0.019–0.175。

实验3：组合性自我预测（L2）。

多领域任务（v1：约25项任务，15个模型；v2：涵盖全部28个领域对的112项任务，16个模型）。CCE衡量的是组合任务相对于单领域表现的多余校准误差。

实验4：适应熔炉（L3）。

320个“燃尽-测试”模板 × 2种条件（真实反馈与谄媚反馈）。AI衡量反馈驱动的行为变化；SAR衡量对虚假反馈与真实反馈的差异化适应。共15个模型。

实验5：对抗鲁棒性（L3）。

每个模型320次对抗性试验 + 320次匹配的纯净对照试验。共14个模型。

实验6：生态系统效应（L3）。

(a) 多智能体信任场景中的谄媚行为（SSR）。(b) 有缺陷前提检测（FDR）。(c) 增量压力下的价值鲁棒性。共16个模型。

实验8：规模分析（L0–L3）。

Llama 3.1 8B → 70B → 405B的家族内比较，以及一代际比较（3.1-70B vs. 3.3-70B）。共4个模型。

实验9：知道-做差距（L3+）。

597项智能体任务（297项固定 + 300项定制）× 4种条件 × 3种范式，在所有16个模型上评估。联合主要分析仅使用固定任务（所有模型相同），以消除循环性问题。每项任务包含两个需要不同领域技能的子项。四种条件逐步外化元认知控制：C1（无信息基线），C2（模型获得自身的MIRROR分数），C3（分数 + 规范性指令），C4（外部路由系统强制实施基于分数的约束）。三种范式（带工具的自主模式、检查点决策模式、无工具行为模式）提供汇聚性证据并控制RLHF混淆因素。弱势领域根据实验1的校准概况，使用预先指定的中位数或底部_k策略进行识别：若自然准确率低于模型的中位数，则该领域被认定为“弱势”；此分类仅使用实验1的数据，防止信息泄漏。CFR是指在弱势领域子项中，模型自主进行且回答错误的比例；弃权与工具委派不计为失败。主要指标：CFR及升级曲线（附录A）。

4 实验设置

表3：模型名单。所有模型均为通过API访问的指令微调变体。参数数量在未正式披露处为近似值。

我们评估了来自8个实验室的16个模型，参数规模从3B到671B不等（表3）。另有2个模型被排除：command-r-plus（数据收集中途API被移除）和qwen-3-235b（API完全失败率为100%）。所有实验均使用温度=0以确保可重复性。基础设施：NVIDIA NIM免费层级（主要用于Llama、Mistral、Gemma、Phi-4、Kimi-K2），DeepSeek API（deepseek-r1/v3），以及Google AI Studio（gemini-2.5-pro、gemma-3-12b）。在启用工具的范式（P1、P2）中，无论API提供商如何，所有模型均接收相同的工具描述和系统指令。

5 结果

5.1 主要结果

表4报告了16个模型和8项实验的所有主要指标（正式定义见附录A）。三个模式显而易见。

第一，MIRROR差距普遍为正（均值 = 0.170，范围0.074–0.267）：相对于自然准确率，所有模型在下注通道中都表现出过度自信。标准校准指标证实了这一点：期望校准误差范围为0.083至0.526；在严格适当评分下，平均Brier分数为0.315（附录A）。

第二，无信息条件下的CFR范围为0.387至0.937——即使表现最好的模型在自主进行弱势领域智能体任务时，失败率也达到39%。作为次要诊断指标，16个模型中有13个的KDI为负，这与监测-控制分离一致。

5.2 发现1：组合性自我预测普遍失败

在实验3测试的所有模型中，组合性自我预测均告失败：原始v1的CCE范围为0.500至0.943（约25项任务，15个模型）。覆盖全部28个领域对的112项任务的扩展v2评估证实了这些结果：16个模型的CCE范围为0.434至0.758，所有模型的平均置信度均 > 0.73，而实际组合准确率 < 0.54。v2较窄的范围反映了更大且更平衡的任务集；普遍过度自信的结论在两次评估中均成立。自助法95%置信区间（BCa，10,000次迭代）证实没有模型的区间包含零（附录M）。一项控制难度的消融实验，平衡了强-强、强-弱和弱-弱分层，得到16个模型的平均平衡CCE = 0.529；一个更大的v3库（448项任务）证实该结果是广泛成立的（附录M）。

5.3 发现2：知道-做差距

MIRROR的核心发现是元认知监控与元认知控制之间的功能性分离。模型表现出高于随机水平但不完美的自我知识——MIRROR差距普遍为正（均值 = 0.170），表明存在系统性过度自信，而自然准确率范围为0.235至0.499。尽管这种部分意识足以识别相对领域优势，但模型系统性地未能将其转化为适当的智能体行动选择。

升级曲线

6 讨论与局限性

6.1 对智能体系统设计的启示

“知道-做差距”重新定位了该领域对智能体安全的研究思路。当前实践侧重于改进校准——使模型在自我评估中更加准确。MIRROR表明这是必要但不充分的：即使具有高于随机水平的自我知识的模型，在56.2%的弱势领域案例中（C1基线）也未能据此采取行动。

解决方案是架构性的，而非认知性的。Schmied等人（2025）表明，RL微调可以在特定环境中部分缩小“知道-做差距”。我们的C2结果表明，推理时的自我知识暴露是不够的，但训练时的干预可能在提示失效的地方取得成功。使用MIRROR领域分数的外部路由将CFR降低了76%。

与实例级方法的比较。MIRROR的C4路由在领域级别运作：部署前的校准概况将整个领域分类为强或弱。在扩展的C1全范式框架（16个模型）中，领域路由在48.4%的平均升级率下将弱势领域CFR降至0.0%，而预算匹配的实例级基线仅降至31.7%（置信度阈值）、32.3%（自一致性）和30.2%（校准置信度）。共形风格阈值仅在非常高的升级率下才能达到低CFR。完整比较见附录O。

6.2 局限性

生态效度与模型覆盖范围。

实验9使用了构建的智能体场景；一个包含8个工作流和4个风险层级的320项任务的部署现实性数据包（附录V）部分解决了这一问题。模型覆盖范围为来自8个实验室的16个模型，其中包括一个前沿专有模型（gemini-2.5-pro）；研究结果可能无法推广至其他未经测试的专有模型。

统计注意事项。

CCE是第2层级的主要指标；MCI为次要指标。下注通道使用对称线性评分规则，该规则并非严格适当的评分规则；我们在附录A中报告了严格适当的评分（Brier分数、对数分数），并将标题主张锚定在升级曲线和CCE结果上。稳健性检验（附录T、N）确认了稳定性。

古德哈特定律风险。

如果MIRROR分数被用于生产环境中的路由，模型可能学会操纵路由系统。一个涵盖8种攻击类型的240项红队数据包（附录V）提供了压力测试。

7 结论

我们推出了MIRROR，一个用于大语言模型元认知校准的分层基准，并报告了涵盖来自8个实验室的16个模型的八项实验结果。核心发现是精确的：模型拥有部分领域特定的自我知识，能够高于随机水平地识别相对领域优势，但存在系统性过度自信，且这种自我知识不会跨领域迁移、不能正确组合、不会从反馈中更新，也不能转化为适当的智能体行动。知道-做指数在16个模型中有13个为负值，最好将其视为诊断性汇总指标，而非一个独立的校准构念。规模扩展并不能解决这一问题。

真正有效的是外部结构：架构约束将错误自信率从0.600降低了76%至0.143。这对AI安全的启示是，信任大语言模型自我报告的不确定性——这是智能体系统中常见的设计假设——是不够的。校准必须从外部测量，然后通过架构加以强制执行。MIRROR提供了这一测量工具。

原文链接：https://arxiv.org/html/2604.19809v1