首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >Agent 评估 >常用的 Agent 公开评测基准有哪些,各自考察什么能力?

常用的 Agent 公开评测基准有哪些,各自考察什么能力?

词条归属:Agent 评估

1. 通用能力基准

  • GAIA:通用 AI 助手能力,强调多工具链与多步推理
  • AgentBench:跨操作系统、数据库等多环境的通用 Agent 能力

2. 专项能力基准

  • SWE-bench Verified:编程类 Agent 的缺陷修复能力
  • τ-bench:客服与零售场景下遵循政策的多轮交互
  • BFCL:函数调用准确率
  • WebArena / VisualWebArena:网页浏览类 Agent
  • OSWorld:桌面与跨应用操作类 Agent
  • MedAgentBench:医疗工作流类 Agent

3. 使用原则

  • 各基准只刻画能力的一个切面,选型应与实际部署场景匹配;公开基准用于初筛,自有数据集用于上线决策
相关文章
HTTP 协议的常用方法有哪些?(GET、POST、PUT、DELETE、PATCH)各自的作用和区别是什么?
HTTP 协议定义了多种请求方法,用于指定客户端对服务器资源的操作。其中最常用的是 ​​GET​​​、​​POST​​​、​​PUT​​​、​​DELETE​​​、​​PATCH​​,它们的作用和区别如下:
搜罗万相
2025-10-25
4.1K0
跑分超过 GPT-6:WorkBuddy 新接入的 Kimi K3.1 Pro 强在哪
摘要: 腾讯 WorkBuddy 于 2026 年 10 月 24 日接入月之暗面旗舰模型 Kimi K3.1 Pro,在 Terminal-Bench 4.0 真实终端任务评测中得分 65.7%,超
gavin1024
2026-10-26
3910
Jev 评测深度解析:得分表现、能力局限与最佳适用场景一览
Jev 新公布的基准证据,值得让开发者认真评估它在有界分类和路由决策中的用途。但它没有证明 Jev 能替代通用大语言模型,也没有把置信度变成正确性保证,更不能说明给 Agent 加上 Jev 就一定省钱。真正有用的问题更具体:你要做的决策,与论文测量的任务是否相似?
cczzcode
2026-10-02
1990
Agent常见测评基准概述
对于 agent 的测评,学术界和工业界提出了多种评测基准。这些基准针对不同场景(如通用任务、网页浏览、操作系统、办公软件、垂直领域等),通过构建交互环境和任务库来评估模型的规划、决策、工具使用、执行可靠性和安全性。按类别梳理当前比较有代表性的 Agent 基准分为以下几类。
小陡坡香菜
2025-12-24
3.7K0
作为测试面试官给求职者的一些建议
最近公司业务快速发展,整个研发团队都在加紧招聘人员,我主要负责测试和运维的初面,偶尔参与二面。从年前到今天为止,陆陆续续收到简历仅百人(测试占大多数),进入初面的大概50%,初面通过的不到30%,进入二面就更少了,还有在面试通过后被 HR 干掉的。
叨叨软件测试
2020-04-14
9530
点击加载更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券