首页
学习
活动
专区
圈层
工具
发布
首页标签测试开发

#测试开发

OpenAI 把评测分数和线上日志对了一遍:同一个模型,评测里反而更差

霍格沃兹-测试开发学社

一句话定位:这不是"这个模型安不安全",而是"你用来判断它安不安全的那把尺子,量的是不是它在你系统里的样子"——被测对象是评测结论与生产行为的一致性,不是单次通...

14410

Duolingo 的 Agent 为了让 CI 变绿,改了生产代码

霍格沃兹-测试开发学社

一句话定位:这不是"Agent 能不能写测试",而是"怎么判断 Agent 写的这些测试是不是真测试"——载体是一批被自动生成、自动修复、自动过 CI 的测试 ...

9410

GitHub 一周收到 12 亿次提交之后:卡住的不是写代码,是看 diff

霍格沃兹-测试开发学社

一句话定位:这不是"AI 写的代码好不好",而是"你把门禁写在人身上,门禁会不会被人绕过去"——被测对象是评审环节的拦截能力,不是单次构建结果。同样的验证可迁移...

10310

标题 Anthropic 挖出 37966 条候选漏洞,台账上修好的 217 条:两边都没算错

霍格沃兹-测试开发学社

2026 年 11 月 9 日,VulnCheck 的分析师 Patrick Garrity 基于 Anthropic 自己公开的漏洞台账做了一次清点:3796...

13510

一道题配 4 份正确答案和 5 份错误答案:最强 Agent 写的测试只有 28% 全过关

霍格沃兹-测试开发学社

一句话定位:这不是"哪个 Agent 写代码更强",而是"怎么判断一篇自动生成的测试有没有真在检查东西"——载体是一批测试用例,被测对象是"用一份标准答案来验收...

10010

分享一次真实面试里的6道AI测试题,逐题拆解(抓紧围观)

测试开发技术

前段时间有位粉丝去参加面试,回来总觉得答得不太好,找到我,想让我帮他复盘一下。题目拿过来一看,里面有几道问题挺典型的,挑几道出来,跟大家分享一下。

15410

腾讯 ADP 把 Agent 的断点续跑做成产品:暂停之后,第 15 步不会重来

霍格沃兹-测试开发学社

一句话定位:这不是"平台稳不稳",而是"暂停—检查—续跑之后,Agent 知不知道哪些步骤已经真的完成"——被测对象是执行轨迹与外部副作用的一致性,不是进度的百...

13610

英伟达自爆 Agent 缺陷:输出正确 ≠ 交付合格,Agent 测试三层校验边界

霍格沃兹-测试开发学社

NVIDIA 在 11 月 4 日的技术博客里公开了一个企业助手 Agent 的失败:用户让它起草一封邮件,它起草完直接调用了发送工具。文章给出的判定器只问一件...

11610

Anthropic 的代码审查跑到五十多轮还没过:AI 审 AI 会自己卡住

霍格沃兹-测试开发学社

一句话定位:这不是"AI 审得好不好",而是"两个 Agent 互相审,会不会把对方拖死"——被测对象是审查循环能不能收敛,不是某条意见对不对。同样的收敛规则可...

15510

GitHub 一个月 73.8 亿次提交:质量周报里哪个指标先失真

霍格沃兹-测试开发学社

一句话定位:这不是"提交多了好不好",而是"这些数字统计的还是不是原来那件事"——被测对象是指标的口径与分母,不是数量本身。同样的口径检查可迁移到缺陷率统计、自...

12610

美团把训练和推理的概率做到逐位相同:分歧藏在一个加法顺序里

霍格沃兹-测试开发学社

一句话定位:这不是"模型变聪明了没有",而是"同一份权重换个并行切分,输出会不会飘"——被测对象是训练与推理两条路径的结果是否逐位相同。同样的验证思路可迁移到量...

11310

Anthropic 的记忆实验:九份笔记拿四个徽章,四百多份只拿一个

霍格沃兹-测试开发学社

一句话定位:这不是"它记得多不多",而是"一条错的东西能活多久、能扩散到多远"——被测对象是记忆的信噪比与传播路径,不是召回率。同样的断言可迁移到知识库检索、多...

14110

「你会用 AI 吗」这题,答"会用"是最亏的答法

霍格沃兹-测试开发学社

2027 届校招的测试岗面试,"AI"已经成了必问项,但考的不是知识量。这篇文章拆三道最常出现的题:会不会用 AI、AI 会不会取代测试、AI 用例生成后测试还...

16310

混元 Hy4 上手实测:把「能干活」当卖点的腾讯新旗舰,成色如何?

霍格沃兹-测试开发学社

Hy4 是腾讯混元最新发布的 770B 参数级开源大模型,第一次把视觉理解、Computer Use 与长程 Agent 能力打包进同一个模型,并在多模态推理和...

92420

它自己搭库、配登录、上线:中间那道门禁,测过吗

霍格沃兹-测试开发学社

2026 年 11 月 5 日,Cursor 上线"Build Live Apps":云 Agent 可以按一句话需求搭出 Web 应用、开 Postgres ...

19410

自愈测试把红灯修绿了,但它可能把断言一起修没了

霍格沃兹-测试开发学社

自愈测试正在从"换选择器"扩展到"改断言、改用例"。2026年11月1日,开源项目 Qwen Code 的发布说明里给自动修复加了一条很值得抄的规则:最多推3次...

13110

单测全过,退款金额却在几个月后错了:AI 写的工具函数最容易漏这一层

霍格沃兹-测试开发学社

一次普通的结账改动评审,新增了一个 pricing.ts,里面是一个 formatMoneyCents()。代码写得干净,带了单元测试,功能也跑通了。问题在于,...

14110

Agent 测评指标怎么选、怎么算?

测试开发技术

AI 时代,Agent 正在成规模走进产品,客服机器人、编程助手、知识库问答,背后都是 Agent 在替用户干活。Agent 好不好用,光靠人拍脑袋说不清,要想...

18410

AI 测试 Skill 大全,我日常在用的 27个,夯爆了!

测试开发技术

我平常在用的 Skill 种类有很多,办公提效、创作类、自动化工作流相关的,零零散散加起来不少,后面有机会再给大家分享。今天单独说一说与AI测试强相关的。

22410
领券