2026年2月17日，美国国家标准与技术研究院（NIST）发布了一份具有里程碑意义的报告——NIST AI 800-3：《用统计模型扩展AI评估工具箱》。这份报告由Andrew Keller、Kweku Kwegyir-Aggrey、Ryan Steed等六位研究者共同完成，来自NIST的AI标准与创新中心（CAISI）和信息技术实验室（ITL）。

这份报告揭示了一个被长期忽视的问题：当前AI基准测试的常见方法可能（1）依赖隐含假设，（2）混淆不同的系统性能概念，（3）未能准确量化不确定性。当这些问题存在时，“使得基于基准测试结果进行决策变得困难甚至不可能”。

一、当前AI评估的“度量危机”

基准测试是理解AI系统性能的重要工具。然而，当前的基准测试常采用“简单准确率平均”的方法——报告“某模型在测试集上达到92%”——但这种方法掩盖了关键的变化和不确定性。

问题的根源在于：基准测试的统计方法没有跟上模型能力的增长速度。当AI模型从数百万参数扩展到数千亿参数，从单一任务扩展到通用能力，评估这些模型的统计工具却仍然停留在“算个平均值、报个准确率”的阶段。

NIST AI 800-3提出的核心解决方案是引入广义线性混合模型（GLMM） ——一种在其他领域（如生物统计、心理学、教育测量）已被广泛使用、但在AI评估中尚未普及的统计方法。

GLMM的核心贡献在于正式区分了两个关键概念：

这两者可能有显著差异，因此必须用不同方式计算。基准准确率容易测量，泛化准确率才是我们真正关心的。

报告利用对22个前沿大语言模型在三个通用基准（GPQA-Diamond、BIG-Bench Hard、Global-MMLU Lite） 上的评估数据，展示了GLMM的实际效果。

NIST的研究发现令人警醒：有些模型在基准准确率上可能显著不同，但在泛化准确率上并无差异。

这意味着什么？一个模型在考试中拿高分，不代表它真的“懂了”——它可能只是记住了题库。

NIST的研究进一步揭示：广义准确率的置信区间比基准准确率的置信区间更大，因为它们考虑了从“超总体”中选择基准题目的因素。而简单平均法给出的置信区间往往过于自信——它让我们误以为模型的准确率比实际情况更可靠。

在GPQA-Diamond基准上，NIST展示了不同估计方法的对比：简单平均法（pink）的置信区间要么过窄（低估不确定性），要么在估计广义准确率时虽然区间有效但精度不足。而GLMM方法不仅提供了更精确的不确定性量化，还能分解方差，估计题目难度等关键参数。

GLMM使评估者能够估计潜在的AI系统能力，并获得关于基准构成和LLM性能的有用见解。例如，通过GLMM的方差分解，评估者可以区分“模型能力差异”、“题目难度差异”和“随机误差”各自对最终分数的贡献——这在传统方法中是无法实现的。

NIST AI 800-3的启示在于：统计严谨性不是评估的“锦上添花”，而是评估的“安身立命之本”。

这一框架对所有AI评估者、采购者和开发者都具有直接指导意义：

对开发者而言，仅仅在基准测试上“刷分”已不足以证明模型的能力。需要采用更严谨的统计方法来评估模型的泛化能力。一个在GPQA-Diamond上得高分但在泛化准确率上与竞品无显著差异的模型，其“领先”可能只是统计假象。

对采购者而言，不能仅凭供应商提供的基准测试成绩做决策。需要追问：这个成绩是“基准准确率”还是“泛化准确率”？置信区间是多少？在不同类型的任务上表现如何？

对监管者而言，AI评估需要建立统一的统计标准和计量体系。NIST的工作正是为此铺路——让AI的评估像物理测量一样，有明确的统计意义和可复现性。

NIST AI 800-3的意义不仅在于引入了一个新的统计方法，更在于它提出了一个根本性的问题：我们到底应该如何衡量AI的能力？

这个问题没有简单的答案。但有一点是确定的：如果我们不能用可靠的“尺子”去衡量AI，我们就无法真正信任AI。

正如NIST在其新闻稿中所说：“提高AI系统评估的有效性和稳健性是NIST AI测量科学工作的持续目标”。NIST AI 800-3正是朝着这个目标迈出的重要一步——它让AI评估从“算个平均分”的粗糙做法，走向了“建立统计模型、量化不确定性”的科学范式。

*参考文献：Keller, A., Kwegyir-Aggrey, K., Steed, R., Rao, A., Sharp, J. & Bergman, A. (2026), Expanding the AI Evaluation Toolbox with Statistical Models, NIST AI 800-3, National Institute of Standards and Technology, 

https://doi.org/10.6028/NIST.AI.800-3[reference:23]

当AI开始“考试”，我们如何判断它有没有作弊？

人工智能

算法

新闻资讯

NIST发布AI800-3报告，揭示当前AI评估存在统计缺陷，提出采用广义线性混合模型(GLMM)区分基准准确率和泛化准确率。研究发现部分模型在基准测试中表现优异但泛化能力不足，强调需要更严谨的统计方法来评估AI真实能力。该框架为AI开发者、采购者和监管者提供了科学评估标准。

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

当AI开始“考试”，我们如何判断它有没有作弊？

当AI开始“考试”，我们如何判断它有没有作弊？

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐