首页
学习
活动
专区
圈层
工具
发布
首页标签测试策略

#测试策略

AI会写更多代码后,测试工程师要把价值放在哪里?

霍格沃兹-测试开发学社

摘要:GitHub在2026年10月讨论开发者职业变化时,把能力重点放在指挥Agent、批判性审查输出和保持技术判断。对测试岗位而言,这并不是“学会更多提示词”...

800

浏览器Agent点开链接之前,测试到底要验证什么?

霍格沃兹-测试开发学社

摘要:OpenAI在2026年1月公开介绍AI Agent链接安全方案:自动访问URL前,用独立索引判断该链接是否已被观察,以降低网页提示注入诱导Agent访问...

500

平均延迟达标,最慢那一批没人记

霍格沃兹-测试开发学社

发布评估会,投影第一页写着一个大字:平均 320ms,底下一行小字「达标」。会议室里没有人追问这个数字是怎么平均出来的,而接下来三件事都要从这一页出发——容量要...

2700

大模型评测报告该带的十项运行元数据

霍格沃兹-测试开发学社

工作群里甩过来一张别人家模型的跑分截图,红色箭头指着一个高出自家十几个点的数字,配一句「这个模型已经超了」。你回了三个问题:跑的是哪一版权重快照、用的哪一份数据...

4000

Pytest 验收 AI 用例:把断言有效性做成机械门禁

霍格沃兹-测试开发学社

这轮补的回归用例是 AI 写的:一个下午生成四十条,挂上流水线跑了一夜,全绿,第二天就合进了主回归集。两周后线上出事故——已经领过券的用户,页面上再点一次领取按...

3600

模型、Prompt、检索器一起升级,效果变好到底是谁的功劳?

霍格沃兹-测试开发学社

摘要:基于Arize Phoenix数据集与实验概念,说明模型、Prompt和检索器同时变化时如何控制变量并做回归。

12010

AI Trace越记越长,为什么测试报告反而越来越说不清?

霍格沃兹-测试开发学社

摘要:用OpenTelemetry语义约定作为共同语言,再把会话、工具、业务与回归证据分层。

17210

Cloudflare开放浏览器工具后,页面自动化要多验哪三层证据?

霍格沃兹-测试开发学社

摘要:基于Cloudflare Browser工具公开文档,拆解静态抓取、渲染页面和真实交互三种证据不一致时的测试方法。

16410

微软 Agent 评测指南里,藏着一条让测试少背一次锅的结论

霍格沃兹-测试开发学社

摘要:从代码可运行但选错SDK与认证模式的现场,建立可辩护的Agent Experience评测。

15910

淘宝 AI 购物助手:基于 LLM-as-a-Judge 的在线评测与质量归因实践

霍格沃兹-测试开发学社

AI Agent 上线后,如何持续判断每一次工具调用、业务路由和生成回复是否正确?淘宝技术在 AI 购物助手的购后服务场景中,建设了一套基于 LLM-as-a-...

29210

MCP工具只把一个字段改成可选,Agent为什么开始替用户猜参数?

霍格沃兹-测试开发学社

MCP官方Tools规范明确:工具由模型发现和调用,定义中包含名称、描述、输入Schema和可选输出Schema;客户端还应在敏感操作前提供确认,并把工具注解视...

13310

SWE-bench Multilingual 详解:多语言编程 AI 模型评测基准

A小码哥

SWE-bench Multilingual 是一个专门用于评估 AI 模型多语言编程能力的基准测试套件。它扩展了原始 SWE-bench 的 Python 专...

18200

评估和观测,正在并成一张账:先接住上线前后这条闭环

霍格沃兹-测试开发学社

上线前,评估报告说『可以发』;上线后,观测看板说『在往下漂』。同一套系统、同一批指标,两份报告却出自两个团队、两套字段命名,谁也说不清当初按什么判的『过』、上线...

12110

把“不好看”量化成数字:一次被逼出来的像素级重构

lugiax

凌晨 1 点 31 分,自动化检查清单跑到了最后一项。8 项严苛测试,7 项完美通过,1 项记录现状,没有任何一行代码亮起红灯。然而,就在这个堪称“完美交付”的...

9310

Electron 开发实战(九):调试技巧与开发者工具|测试、性能分析、日志追踪全解

怕浪猫

大家好,本章是 Electron 实战系列第九章。前面我们完成了界面开发、文件存储、系统交互、多媒体处理、网络通信等核心业务能力开发,进入项目中后期,高效调试、...

9300

大模型写代码以后,测试到底要测什么?

霍格沃兹-测试开发学社

摘要: 如果你刚开始接触大模型测评,AI 生成代码其实是一个很适合入门的场景。过去我们习惯看“代码能不能跑、测试能不能过”,但到了 Coding Agent ...

12100

同一份Android工程换了一个AI Agent,最先坏的可能不是代码

霍格沃兹-测试开发学社

摘要:模型可以替换,但IDE提供的编译诊断、预览和模拟器工具并不天然等价。测试应把任务结果、工具使用和失败恢复一起纳入兼容矩阵。

15100

OpenAI用GPT-Live-1和Codex改造LED屏,语音测试最该盯哪条链?

霍格沃兹-测试开发学社

OpenAI用GPT-Live-1和Codex改造LED屏,语音测试最该盯哪条链?

14800
领券