首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >AI应用与智能体开发:从提示工程到可交付系统的工程视角

AI应用与智能体开发:从提示工程到可交付系统的工程视角

原创
作者头像
搜weiranit.fun
发布于 2026-11-10 15:55:43
发布于 2026-11-10 15:55:43
1680
举报

一、先分清"AI应用"与"智能体"

这两个词经常被混用,但工程含义差别很大。AI应用指以模型为核心能力之一的软件系统,模型负责某一段确定性任务(分类、抽取、生成、改写),系统其余部分仍是传统工程:数据库、接口、权限、调度。智能体(Agent)则把控制权部分交给模型:由模型决定下一步调用什么工具、是否需要更多信息、何时终止。前者是"用模型做组件",后者是"让模型做调度者"。

这个区分不是学术洁癖,而是直接决定架构与风险。AI应用的输出边界可预测,测试可以用固定用例回归;智能体的行为路径是动态生成的,测试必须覆盖"它可能走错路"的情况。很多项目失败的根源,是把一个该做成AI应用的需求,做成了不受控的智能体——成本高、延迟高、结果不稳定,而收益并不比确定性流程更大。

一条实用判据:如果任务步骤能事先画成流程图,就不要用智能体。智能体适用于步骤无法预先枚举、需要根据中间结果动态决策的场景,比如开放式研究、多源信息排查、复杂环境的操作。

二、系统分层:模型只是其中一层

一个可交付的AI系统通常分五层:

模型层决定能力上限,包括模型选型、上下文长度、结构化输出能力、工具调用支持。编排层是应用的核心逻辑,负责任务分解、状态管理、重试与降级。工具层把外部能力(检索、数据库、业务API、代码执行)封装成模型可调用的接口。数据层包括知识库、向量索引、会话存储、日志。应用层是对用户的界面与交互,处理流式输出、加载状态、错误提示。

新手常见的错误是把90%精力投在模型层(反复换模型、调提示词),而实际决定体验的是编排层与工具层——模型再强,检索召回不准、工具返回值格式混乱,输出一样不可用。

三、提示工程之后是上下文工程

提示词技巧(角色设定、少样本示例、思维链)已经被讨论得很多,工程上更有价值的是上下文工程:在有限的上下文窗口里,放什么、按什么顺序放、放多少。

几个实践中反复验证的原则:

指令与数据分离。用户输入、检索结果、工具返回值都应放在明确的结构化区块中,并用分隔符与系统指令隔开,避免提示注入。这不是格式美观问题,而是安全边界。

顺序影响效果。关键指令放在开头与结尾,长文档放在中间;需要模型重点关注的信息不要埋在大段文本深处。

少样本示例要覆盖边界。只给"正常案例"的示例,模型遇到异常输入时容易编造。示例里应该包含"信息不足时应拒答"的情况。

上下文不是越多越好。无关内容会稀释注意力、增加成本与延迟。检索结果应做重排与截断,而不是把Top-K全部塞进去。

四、结构化输出:让模型输出可被程序消费

AI应用与纯聊天最大的区别是:输出要进入下游程序。因此强制结构化输出是基本要求——JSON Schema、函数调用参数、枚举约束。模型返回自由文本再正则解析,是脆弱且高维护成本的方案。

工程上要做三件事:定义严格的Schema(字段、类型、必填项、取值范围);在提示中给出Schema并要求只输出该结构;对解析失败做校验与重试(带错误信息回喂给模型让它修正),而不是直接抛异常给用户。同时要防范"看起来合法但语义错误"的输出,比如枚举值拼写正确但业务上不成立,这类问题只能靠后置校验规则兜底。

五、工具调用:智能体的手脚

工具调用(Function Calling / Tool Use)是智能体区别于普通对话的核心机制。模型不直接执行代码,而是输出一个结构化的调用意图,由运行时执行后把结果回填给模型。一个工具定义的骨架大致如下:

代码语言:javascript
复制
tools = [{
    "name": "query_order",
    "description": "按订单号查询订单状态。仅在用户提供了订单号时调用。",
    "parameters": {
        "type": "object",
        "properties": {
            "order_id": {"type": "string", "description": "纯数字订单号"},
        },
        "required": ["order_id"],
    },
}]

这份定义里,description 的重要性远超字段本身——它是模型判断"何时该用这个工具"的唯一依据。写得含糊,模型就会乱调或该调不调。几条经验:描述里写清适用条件与不适用条件;参数描述写清格式与来源;工具粒度要适中,太粗则参数复杂、模型填不对,太细则调用次数暴涨;工具返回要做裁剪,不要把几百行原始数据直接回填。

工具执行侧必须做输入校验、超时控制、幂等处理、权限检查。模型可能生成不存在的ID、非法参数、重复调用,这些都要在运行时挡住,不能寄望于模型自觉。

六、RAG:检索不是插件,是数据工程

检索增强生成(RAG)几乎是所有企业AI应用的标配,但落地效果差异极大。原因通常不在模型,而在数据侧。

完整的链路是:文档解析 → 分块 → 向量化 → 索引 → 查询改写 → 检索 → 重排 → 上下文组装 → 生成 → 引用回填。每一环都有坑:PDF表格解析错乱、分块切断语义、查询与原文档表述不一致导致召回失败、Top-K 里混入相似但无关的内容。

一个最简检索调用如下(示意,框架无关):

代码语言:javascript
复制
def retrieve(query: str, k: int = 5):
    vec = embed(query)                      # 与建库时同一模型、同一维度
    hits = index.search(vec, k * 4)         # 多召回,留给重排
    reranked = rerank(query, hits)          # 交叉编码器重排,显著提升精度
    return [h for h in reranked[:k] if h.score > THRESHOLD]

三个关键点:embedding模型在建库与查询时必须一致,换模型等于重建索引;先多召回再重排比直接Top-K精度高得多;设置相关性阈值,检索不到就明确说"没有相关资料",这比让模型基于无关内容编造要好。引用回填(把答案对应到原文片段)是提升可信度与可审计性的低成本手段,应在设计阶段就纳入。

分块策略需要针对文档类型定制:法规条文按条款切、技术文档按小节切、对话记录按轮次切,通用固定长度切分只是起点。

七、智能体的几种主流形态

ReAct(推理—行动循环) 是最基础的形态:模型交替输出"思考"与"行动",行动即工具调用,观察结果后再进入下一轮,直到给出最终答案。它灵活但容易陷入循环,需要设置最大轮次、重复调用检测与终止条件。

Plan-and-Execute 先让模型产出完整计划,再逐步执行。优点是全局视野、便于人工审核计划;缺点是计划一旦偏离实际就难以纠正,通常需要配合重规划机制。

多智能体协作 把任务拆给多个角色(规划者、执行者、审查者),通过消息传递协作。它适合职责边界清晰的复杂任务,但通信开销大、错误会级联放大。多数场景下,一个设计良好的单智能体加多个工具,比多智能体更稳定、更便宜、更好调试。

工作流式编排 把模型调用嵌入预定义的图结构(节点是步骤,边是条件分支),只在需要判断的节点调用模型。这是生产环境最常见的选择——它保留了模型的灵活性,又把不可控部分限制在局部。

一个ReAct循环的骨架可以精简到十几行:

代码语言:javascript
复制
def run_agent(task, tools, max_steps=8):
    messages = [{"role": "user", "content": task}]
    for _ in range(max_steps):
        resp = llm(messages, tools=tools)
        if not resp.tool_calls:                 # 无工具调用即视为最终答案
            return resp.content
        messages.append(resp)
        for call in resp.tool_calls:
            result = execute(call, tools)       # 校验、超时、异常都在这里处理
            messages.append(tool_result(call.id, result))
    return "达到最大步数,未能完成任务"

max_steps 不是形式主义,它是防止无限循环与成本失控的最后一道闸。生产环境还应加入总token预算、单工具调用次数上限、以及"连续两次相同调用即中断"的检测。

八、记忆:短期、长期与工作记忆

对话类应用需要记忆,但"把所有历史都塞进上下文"既贵又低效。工程上分三层处理:短期记忆是当前会话的最近若干轮,直接放上下文;工作记忆是任务执行过程中的中间状态(已收集的信息、已排除的假设),用结构化对象维护而非纯文本;长期记忆是跨会话的用户偏好与事实,存外部存储,按需检索注入。

长期记忆的难点在写入与遗忘:什么该记、什么不该记、冲突信息如何覆盖、过期信息如何清理。没有遗忘机制的记忆系统会越来越臃肿,最终拖垮效果。

九、评测:AI应用最容易缺失的一环

传统软件靠单元测试保证正确性,AI应用的输出是概率性的,评测体系必须单独设计。分层做法是:

组件级评测:检索的召回率与准确率、工具调用的正确率与参数合法率、结构化输出的解析成功率。这些可以用固定数据集自动化回归,是性价比最高的部分。

端到端评测:给定输入,判断最终输出是否满足要求。判定方式包括规则校验、参考答案比对(BLEU/ROUGE只适合粗略参考)、以及用更强的模型做裁判(LLM-as-judge)。模型裁判要警惕位置偏差与长度偏好,应固定评分模板并人工抽检校准。

人工评测:抽样评估真实流量,关注"看起来对但实际有害"的案例。这是发现评测集覆盖盲区的唯一手段。

评测集本身要持续维护:线上发现的bad case应回流进评测集,形成闭环。没有评测集的AI项目,任何"优化"都无法证明有效。

十、可观测性与成本

AI系统的调试难点在于链路长且不确定。必须记录:每次请求的完整消息序列、模型返回、工具调用与结果、耗时分解(模型延迟 vs 工具延迟)、token用量与费用。这些日志既是排障依据,也是成本分析的来源。

成本控制手段包括:缓存(相同或相似请求复用结果)、模型分级(简单任务用小模型,复杂任务路由到大模型)、上下文裁剪(去掉冗余历史与低相关检索结果)、流式输出(改善体感延迟而非真实延迟)。延迟优化则要区分首token时间与总生成时间,前者靠流式与预填充,后者靠控制输出长度与减少工具往返。

十一、安全与护栏

AI应用面临传统系统没有的风险:提示注入(用户或检索内容中夹带指令)、越权工具调用、敏感信息泄露、有害内容生成。工程上需要多层防护:输入侧做注入检测与内容清洗;工具侧做权限最小化与参数白名单;输出侧做敏感信息过滤与格式校验;系统侧限制单次会话的资源消耗。永远不要把模型输出直接当作可信指令执行,尤其是涉及写操作、外部请求、代码执行的场景。

十二、几条工程经验

第一,从确定性流程开始,逐步引入模型。先把业务跑通,再判断哪一步真正需要模型决策,避免为了"智能"而牺牲可控性。

第二,把提示词当作代码管理。纳入版本控制、有变更记录、有对应评测结果,避免"谁改的不知道、效果为什么变好变坏也不知道"。

第三,工具描述的质量决定智能体的上限。花在写清楚工具用途、参数格式、失败语义上的时间,回报远高于反复调提示词。

第四,每条不确定路径都要有兜底。模型超时、解析失败、工具异常、检索为空,都要有明确的降级行为,而不是让用户看到报错。

第五,先建评测再谈优化。没有基线的优化是盲目的,没有回归的迭代是危险的。

十三、小结

AI应用与智能体开发的工程主线可以概括为:模型提供能力,编排决定行为,工具扩展边界,数据决定质量,评测保证可信,护栏控制风险。技术栈更新极快,但这六个环节的职责划分相对稳定。真正的能力差异不在会不会调API,而在能否判断"这个需求该用确定性流程还是智能体""这个效果提升是否值得增加的成本与不确定性"——把模型放在它该在的位置上,系统才可能既智能又可靠。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 一、先分清"AI应用"与"智能体"
  • 二、系统分层:模型只是其中一层
  • 三、提示工程之后是上下文工程
  • 四、结构化输出:让模型输出可被程序消费
  • 五、工具调用:智能体的手脚
  • 六、RAG:检索不是插件,是数据工程
  • 七、智能体的几种主流形态
  • 八、记忆:短期、长期与工作记忆
  • 九、评测:AI应用最容易缺失的一环
  • 十、可观测性与成本
  • 十一、安全与护栏
  • 十二、几条工程经验
  • 十三、小结
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档