
你是否遇到过这种场景:
这不是模型问题,而是 可观测性缺失。
如果说评测集解决的是“好不好”,那可观测性解决的是“为什么”。

对 Agent 来说,最小可观测对象有 3 层:
只有三层都打通,问题定位才会快。
每次任务至少记录:
task_iduser_goalstart_at / end_atfinal_status(success/failed/need_human)total_latencytotal_cost这层解决的是: 我现在看到的这次失败,到底是哪次任务、整体表现怎样。
每一步要记录“输入摘要、输出摘要、决策原因”。
建议字段:
step_name(observe/plan/act/reflect)input_digestoutput_digestdecision_reasonstep_latencyretry_count这层解决的是: 到底是计划错了,还是执行错了,还是反思阶段没兜住。
工具调用是故障高发区。
每次调用至少记录:
tool_nameparams_digest(脱敏)result_statuserror_codeexternal_latency尤其是 error_code,必须标准化,比如:
TOOL_TIMEOUTAUTH_INVALIDRATE_LIMITEDSCHEMA_MISMATCH这样你才能做聚合分析和告警,而不是靠人工读报错文本。
有了三层日志后,定位流程可以标准化:
task_id 找到任务总览目标是把“经验排查”变成“流程排查”。
你可以从这 3 类日志开始:
task.logstep.logtool.log先保证:
task_id有了这一层,后面接 ELK/Grafana/数据仓库都很顺。
上线后建议持续跟踪:
如果这四个指标持续下降,说明你的 Agent 系统正在“可维护化”。
问题:失败场景信息不全,无法复盘。
问题:数据很多,查询困难,告警无效。
问题:发现问题但没有闭环,系统不会变好。
正确做法: 日志 -> 分析 -> 规则 -> 自动防线。
Day 1-2:补齐 task_id 与任务总览日志
Day 3-4:接入步骤级日志(O-P-A-R)
Day 5:统一错误码字典
Day 6:做首版故障看板
Day 7:复盘 Top 5 故障并固化修复规则
一周就能从“黑盒系统”升级到“可定位系统”。
可观测性不是为了“记录更多日志”,而是为了更快定位、更稳修复。
当你能快速回答这三个问题:
你的 Agent 才真正具备生产可维护性。
下一篇我会写: 《从零做 Agent 成本优化:模型路由、缓存与重试治理》。