摘要:GitHub在2026年10月讨论开发者职业变化时,把能力重点放在指挥Agent、批判性审查输出和保持技术判断。对测试岗位而言,这并不是“学会更多提示词”...
摘要:OpenAI在2026年1月公开介绍AI Agent链接安全方案:自动访问URL前,用独立索引判断该链接是否已被观察,以降低网页提示注入诱导Agent访问...
发布评估会,投影第一页写着一个大字:平均 320ms,底下一行小字「达标」。会议室里没有人追问这个数字是怎么平均出来的,而接下来三件事都要从这一页出发——容量要...
工作群里甩过来一张别人家模型的跑分截图,红色箭头指着一个高出自家十几个点的数字,配一句「这个模型已经超了」。你回了三个问题:跑的是哪一版权重快照、用的哪一份数据...
这轮补的回归用例是 AI 写的:一个下午生成四十条,挂上流水线跑了一夜,全绿,第二天就合进了主回归集。两周后线上出事故——已经领过券的用户,页面上再点一次领取按...
摘要:基于Arize Phoenix数据集与实验概念,说明模型、Prompt和检索器同时变化时如何控制变量并做回归。
摘要:用OpenTelemetry语义约定作为共同语言,再把会话、工具、业务与回归证据分层。
摘要:基于Cloudflare Browser工具公开文档,拆解静态抓取、渲染页面和真实交互三种证据不一致时的测试方法。
摘要:从代码可运行但选错SDK与认证模式的现场,建立可辩护的Agent Experience评测。
AI Agent 上线后,如何持续判断每一次工具调用、业务路由和生成回复是否正确?淘宝技术在 AI 购物助手的购后服务场景中,建设了一套基于 LLM-as-a-...
MCP官方Tools规范明确:工具由模型发现和调用,定义中包含名称、描述、输入Schema和可选输出Schema;客户端还应在敏感操作前提供确认,并把工具注解视...
SWE-bench Multilingual 是一个专门用于评估 AI 模型多语言编程能力的基准测试套件。它扩展了原始 SWE-bench 的 Python 专...
上线前,评估报告说『可以发』;上线后,观测看板说『在往下漂』。同一套系统、同一批指标,两份报告却出自两个团队、两套字段命名,谁也说不清当初按什么判的『过』、上线...
凌晨 1 点 31 分,自动化检查清单跑到了最后一项。8 项严苛测试,7 项完美通过,1 项记录现状,没有任何一行代码亮起红灯。然而,就在这个堪称“完美交付”的...
大家好,本章是 Electron 实战系列第九章。前面我们完成了界面开发、文件存储、系统交互、多媒体处理、网络通信等核心业务能力开发,进入项目中后期,高效调试、...
摘要: 如果你刚开始接触大模型测评,AI 生成代码其实是一个很适合入门的场景。过去我们习惯看“代码能不能跑、测试能不能过”,但到了 Coding Agent ...
摘要:模型可以替换,但IDE提供的编译诊断、预览和模拟器工具并不天然等价。测试应把任务结果、工具使用和失败恢复一起纳入兼容矩阵。
OpenAI用GPT-Live-1和Codex改造LED屏,语音测试最该盯哪条链?