AI 产品经理：从“功能定义”到“概率系统的质量与成本治理”

传统产品经理的验收语言是“功能是否实现”——二元判断，确定性系统。AI 产品的验收对象是一个概率系统：同一个输入可能得到不同输出，检索错了还是生成错了需要拆开看，Token 单价在降但账单可能在涨。2026 年 AI PM 能力模型把“数据与评估能力”列为区别于传统 PM 的核心硬技能：会定义“效果好”、会搭评测集、会做 badcase 归因。这意味着一件事：AI 产品经理的日常，不是写更长的 PRD，而是维护三张仪表盘——质量、可靠性、单位经济——并且能用可复现的数字回答“改了什么、好了多少、贵了多少”。

质量仪表盘：RAGAS 把“感觉变好了”拆成四个数

RAG 产品最典型的翻车方式是“改了 A，B 悄悄变差”。换更强的 Reranker，Top-3 准确率涨了 8 个百分点，两周后才发现答案忠实度掉了——召回片段更精炼，模型反而更爱脑补。肉眼抽查抓不到这种此消彼长，需要把“答案好不好”拆成四个正交指标：faithfulness 和 answer relevancy 诊断生成器（有没有幻觉、有没有答偏），context precision 和 context recall 诊断检索器（召回的片段有多少被用上、该召回的是否漏了）。四个分数落在 0 到 1 之间，每一次切分策略、Embedding 或 Prompt 变更后跑一遍，涨跌一目了然。

# pip install ragas datasets
from ragas import evaluate
from ragas.metrics import faithfulness, answer_relevancy, context_precision, context_recall
from datasets import Dataset

data = {
    "question": ["退款政策是几天？"],
    "answer": ["14天内可退款。"],
    "contexts": [["退款窗口为自购买日起14天，需保留原包装。"]],
    "ground_truth": ["14天。"],
}
result = evaluate(
    Dataset.from_dict(data),
    metrics=[faithfulness, answer_relevancy, context_precision, context_recall],
)
print(result)

产品经理不需要会写评估框架，但必须能读懂这四个数指向哪个环节。faithfulness 低于阈值，问题在生成侧，该收紧 Prompt 或换更强模型；context_recall 偏低而 faithfulness 健康，说明回答本身是忠实的，但检索覆盖有缺口，优化方向是切分和召回，而不是换生成模型。评测集本身比指标更重要：LLM 自动生成的问法过于“标准”，高分上线后投诉照旧；必须从生产流量里每周抽样，人工标注“多个可接受答案”而非唯一标准答案，攒出一份黄金测试集作为大版本发布门禁。

可靠性仪表盘：生产 Agent 的现实比 Demo 保守得多

ICML 2026 的一项实证研究给出了生产环境的真实画像：68% 的 Agent 在人工介入前执行不超过 10 步，70% 直接 Prompt 现成模型不做微调，74% 主要靠人工评估，可靠性是头号挑战，从业者靠系统级设计而非算法创新来解决它。更硬的数字来自 VentureBeat 的调研：允许 Agent 跳过人工审核的企业中，80% 报告了面向客户的 AI 故障，而要求人工审核的企业这一比例是 36%。对产品经理的含义是明确的：人工审核环节不是“过渡方案”，而是一个需要被设计、被度量 ROI 的产品组件。把“哪些步骤必须人工确认、哪些可以自动放行”作为一条显式的产品规则写进 PRD，比在 Prompt 里加一句“请谨慎操作”可靠得多。

成本仪表盘：Token 单价在降，但账单可能在涨

2026 年模型 Token 价格大幅下降，但 Agent 的账单结构变了：每次任务要重发上下文，工具调用费（尤其是搜索）经常超过模型费本身。一个每任务搜索四次的 Agent，搜索费可能是模型费的数倍——只盯着 Token 单价做优化，方向就错了。产品经理需要的不是“用便宜模型”这种直觉判断，而是按成功任务计费的视角：单次成功任务的成本 =（Token + 工具调用 + 重试 + 失败返工）÷ 通过验收的任务数。在这个视角下，便宜模型如果失败率更高，单位成功成本反而更贵；贵模型如果能一次做对，单位成本可能更低。

一个最小可用的成本对比脚本，把路由假设落到数字上：

def cost_per_success(model_price, avg_tokens, tool_cost, success_rate):
    per_attempt = (avg_tokens / 1_000_000) * model_price + tool_cost
    return per_attempt / success_rate

scenarios = [
    ("廉价模型直跑", 0.40, 2000, 0.01, 0.62),
    ("旗舰模型直跑", 3.00, 2000, 0.01, 0.91),
    ("分类器路由（70%廉价/30%旗舰）", None, 2000, 0.015, 0.88),
]
print(cost_per_success(0.40, 2000, 0.01, 0.62))
print(cost_per_success(3.00, 2000, 0.01, 0.91))

路由的本质是用一个近乎免费的分类器把简单任务导向廉价模型，复杂任务才升级，把“单位成功成本”而不是“每百万 Token 价格”作为决策指标。产品经理的职责不是自己实现路由，而是定义什么算“成功任务”——验收标准定得准，路由策略才有意义。

三张仪表盘指向同一个能力要求：AI 产品经理的交付物不再是“功能上线”，而是一组可回归、可归因、可权衡的数字。质量分数告诉你该修检索还是修生成，可靠性数据告诉你人工审核该放在哪一步，单位成功成本告诉你路由和模型选择是否成立。当有人问“这次改动效果怎么样”时，能拿出三个数的人，和说“我感觉好多了”的人，做的是两种完全不同的产品。