快速学习和承接陌生领域项目的流程 1. 需求获取与评估 AI落地需求样式 :接收需求方填写的AI落地需求表格。定期反馈机制 :设立定期反馈机制 (如每日或每周进度报告),确保与需求方保持同步,避免项目方向偏离。项目里程碑设定 :提前设计项目的关键里程碑 ,确保每一阶段都有明确的目标和交付成果。可视化工具使用 :使用项目管理工具(如Trello、Notion)与需求方共享项目进度,确保信息透明并方便即时反馈和调整。2. 利用大模型(LLM)进行知识摸底 知识获取 :利用大模型(如GPT)进行知识摸底,迅速获取该领域的核心概念、最新进展和主要框架。必要时,结合结构化学习路径 (如MOOC课程或行业认证课程)掌握基础知识。学习方式 :采取以解决问题为导向 的学习方法,按需获取所需知识,避免广泛而无针对性的学习。关键技巧 :在不熟悉领域时,提出正确问题至关重要。通过LLM快速积累领域知识,以帮助你提出高质量问题,并推动进一步学习和深入理解。3. 拆分项目,设计工作流 看板方法 :使用看板方法 (Kanban)将项目进行精细化拆解,确保每个任务都具备清晰的时间节点和可交付物。工作流规划 :为每个任务设计明确的工作流,清晰定义每个步骤、流程的负责人和具体目标。4. 设计项目Prompt并进行单元测试 Prompt设计 :根据每个子任务的需求,设计具体的AI agent提示词(Prompt)。在Prompt设计时,加入反向验证机制 ,通过对比评估AI agent的输出准确性。单元测试 :对Prompt进行单元测试,验证每个Prompt的稳定性和一致性。在小范围实验中优化提示词,确保其稳定性和效果。5. 联合测试与效果优化 A/B测试 :在联合测试阶段,采用A/B测试 或对照实验 ,测试不同Prompt组合的效果,确保最佳的输出质量。定量评估 :设定关键绩效指标(KPI)或使用用户反馈评分,定量衡量Prompt和工作流的效果,并优化流程。流程灵活性 :确保工作流具备扩展性,能够快速适应需求方的动态调整和新需求。工作需求AI落地需求样式: 利用大模型(LLM)进行知识摸底--AI Boost学习方法论--对于陌生领域的学习: 从造纸术的出现,到电脑硬盘,知识的存储变得越来越容易,获得知识的途径也变得更丰富,所以有人说未来的知识越来越廉价了,我们不在需要学习知识,从前,我们获取知识的途径有限,大多遇到一些优质的资源无论其是否是自己所需要的,都想学一学,但如今随之LLM的时代到来,知识的获取变得极为的轻易,那么我们对于知识的了解就更应该“接地气”一些,遇到问题,需要什么知识我们就学什么知识,以解决问题为导向的学习。 在一个模式领域以解决问题为导向进行学习,我们需要的往往是提出一些好问题,那么在对应领域中提出一些好问题也需要我们具备相应的知识,有幸的是LLM恰巧最不缺的就是领域知识。
那么接下来,我们分享一个使用LLM来进行陌生领域学习与提问的方法论。
以下使用‘golang后端开发’这个领域为例子:首先,在大模型(以chat-gpt为例)按照模板提问,模板prompt:“我是一名golang后端开发领域的小白,请告知我在该领域必须掌握的100个基础概念,并给出每个概念的详细解释。“
……以下省略剩余部分(如果LLM没有输出对应数量的基础概念,你可以在prompt中输入‘继续输出’)。在我们了解相关领域的基础概念之后,我们能够利用大模辅助我们提出二十个相关领域的元问题。模板prompt“我想深入全面的学习了解“golang后端开发”相关的知识我应该问你什么问题?请至少列出20个。”
(此处截图有所省略)在收集到20个元问题后,我们可以将其存放在我们设置的思维导图中(这里推荐亿图)。
那么我们在得知这些元问题后,我们需要使用能够输出信息来源的LLM应用来搜索相关问题,例如(perplexity,kimi,秘塔等)。在这些应用中搜索出来的答案都是有明确的信息来源,具有较高的可信度。---(如果使用perplexity建议使用英文进行搜索,以下为了阅读流畅,使用中文进行演示)此处我们在perplexity中使用上述最后一个元问题“Golang 在微服务架构中通常是如何被应用的?“进行演示。
在此类搜索型LLM应用中,其搜索结果最后往往有相关问题,我们可以将这些相关问题集合在我们的思维导图中。
由此,我们可以由20个元问题扩展到120个问题,在这120个问题的提问与学习中,我们还可以使用特定的prompt来使得LLM成为我们在特定问题上的专属导师。特定的prompt是由github上的开源提供:Mr.-Ranedeer-AI-Tutor/Mr_Ranedeer.txt at main · JushBJJ/Mr.-Ranedeer-AI-Tutor (github.com)使用特定的prompt之后,我们将问题中想要详细了解和测试的内容进行计划:以下我们使用子问题“如何在Golang中实现微服务的自动化扩缩容“来进行演示:输入特定的prompt后,LLM会给出下述回答:
为了方便教学,我们可以将语言切换为中文,并于此同时设置学习计划。
学习完之后可以进行测试。
测试的详细内容在下述链接,如有需要可转移到链接内了解:https://chatgpt.com/share/6c22ec8b-2202-474b-9261-9d4ea57e4916 好了,到这里我们也就完成使用LLM进行提问,学习,测试的闭环啦!恭喜你,在个人精进的道路上更进一步!
那么在快速学习一个陌生的领域后,我们可以更快速的理解企业的业务目标、痛点以及预期通过AI技术实现的价值。
拆分项目,设计工作流( BPMN工业建模): 利用BPMN对需求进行工业化流程拆解: 如何对需求进行bpmn工业建模,以下列需求为例:
“首先将已有的工单处理记录处理解析录入知识库,客户输入具体工单问题,及可能的相关上下文后,开始工单处理流程:
1. 首先确认问题类型(问题咨询 / 产品问题解决),如有需要,引导客户补充完整问题解决需要的信息,如QAPM版本,前端现象/问题请求现象/k8s集群状态/监控信息等,直到确认基本信息补充完成(人工 / 大模型确认)。
2. 若为问题咨询工单,则直接基于相关历史工单处理记录,给出相应回复;若为产品问题解决工单,则基于QAPM的问题定位流程参考,结合相关历史工单处理记录给出问题定位结果,得到QAPM运维人员肯定后,给出问题解决方案回复。 3. 持续回复&推进流程直到客户确认结单。 ”
为了将该需求进行BPMN(业务流程模型和符号)的工业建模,我们需要将其分解为不同的流程节点和决策路径,并明确每个环节的输入、输出以及不同角色的参与情况。以下是详细的BPMN建模步骤和指导:
1. 启动事件(Start Event)
输入 :客户输入具体工单问题和上下文信息(如工单号、描述、相关信息等)。触发条件 :客户提交工单。2. 工单问题类型确认(Task: 确认问题类型)
类型 :用户任务或系统任务。描述 :根据客户输入的内容,确认问题属于“问题咨询”还是“产品问题解决”。人工/自动化选项 :可以通过人工(客服人员)或大模型AI确认。3. 问题信息补充(Subprocess: 信息补充)
子流程 :根据工单类型,系统会要求客户补充相关信息,包括QAPM版本、问题现象、k8s集群状态、监控信息等。并行网关 :可以并行地补充不同类型的信息,如客户提供前端现象时,可以同时填写监控信息和集群状态。结束条件 :所有必填信息确认补充完成。4. 问题类型分支(Exclusive Gateway: 工单类型分支)
条件判断 :根据问题的类型,流程分为两个不同的处理路径:5. 问题咨询处理(Task: 基于历史记录回复)
类型 :用户任务或系统任务。描述 :系统自动基于已有的历史工单处理记录,给出相应的建议或回复。6. 产品问题处理(Subprocess: 产品问题解决流程)
子流程描述 :按照QAPM的问题定位流程,结合历史工单记录,进行问题定位。人工协助(Task: QAPM运维人员确认) :在系统得出问题定位后,需要由QAPM的运维人员进行确认是否符合实际情况。7. 解决方案回复(Task: 解决方案回复)
类型 :用户任务。描述 :一旦运维人员确认问题定位,给出相应的解决方案,并回复给客户。8. 持续回复与客户确认(Subprocess: 持续推进流程)
子流程描述 :在解决方案提供后,客户可以继续询问或提供反馈,流程将不断循环,直到客户确认问题已经解决并结单。条件判断 :如果客户确认问题解决,流程进入结束阶段;如果没有,则继续推进。9. 结束事件(End Event)
BPMN流程图大致结构:
启动事件(客户提交工单)。 确认问题类型。 根据问题类型补充信息。 工单类型分支:问题咨询:基于历史记录回复。 产品问题:QAPM问题定位 → 运维人员确认 → 解决方案回复。 客户反馈:持续推进,直到客户确认。 结束事件(工单结单)。 通过这个流程,确保工单的处理过程能够顺畅地自动化或半自动化完成,且不同类型的工单都能得到相应的处理和反馈。
以下是具体的BPMN工业建模方法论 :
方法论概要
“分解-分析-建模-验证”四步法 :
需求分解 :将业务需求分解为明确的功能单元和步骤。流程分析 :识别并区分自动化任务、人工任务和决策节点,定义角色和信息流。BPMN建模 :使用BPMN图形符号将需求可视化为流程图。流程验证 :通过模拟或实际运行验证流程的合理性和效率,反馈调整。方法论详细步骤
1. 需求分解 目标 :从高层次的业务需求中提取核心任务和步骤。操作 :
将复杂的业务场景分解为具体的任务或步骤。例如,工单处理可拆解为工单接收、问题分类、信息补充、问题解决等核心任务。 定义每个任务的目标、输入输出,以及涉及的关键数据(如工单编号、问题描述、上下文等)。 注意 :
保证任务的独立性和可操作性,每个步骤尽量能独立运行或评估。 对于复杂的步骤,进一步进行子流程的分解。 2. 流程分析 目标 :明确流程中需要执行的任务种类(自动化/人工)、信息传递的路径、决策的分支。操作 :
任务分类 :人工任务 :由操作人员执行的步骤,如问题确认、信息验证等。自动化任务 :系统自动执行的步骤,如自动查询历史记录、发送通知等。信息传递 :明确每个步骤的输入和输出信息,包括工单号、监控数据、确认结果等,确保数据流清晰。 角色定义 :指定不同角色的参与,例如客户、客服人员、运维人员等。 决策节点 :定义决策点,如基于问题类型选择不同的处理路径,确保每个分支有明确的判断条件。 注意 :
保持流程清晰且具有可读性,不要在同一节点承担过多任务。 避免信息传递过程中数据丢失或不完整。 3. BPMN建模 目标 :使用BPMN符号将上述分析结果可视化为流程图。操作 :
使用标准的BPMN符号构建流程,包括:事件 :如开始事件、结束事件。任务 :具体的任务(人工/自动化)。网关 :表示分支和合并点(如条件判断、并行处理)。数据对象 :描述数据传递的载体(如工单、上下文信息等)。 建立清晰的控制流(任务间的执行顺序)和数据流(数据传递路径)。 注意 :
流程图应简洁明了,避免冗余,确保每个符号的作用清晰。 使用子流程(Subprocess)对复杂步骤进行封装,使主流程保持清晰。 4. 流程验证 目标 :确保模型的合理性、效率和可行性,通过验证发现并修正问题。操作 :
流程模拟 :在BPMN工具中模拟执行流程,检查每个节点是否正常运作,数据是否顺利流转。实地测试 :选择真实的业务场景进行测试,观察流程的执行情况,收集客户和操作人员的反馈。优化迭代 :根据反馈结果调整流程结构,确保流程顺畅、无瓶颈。注意 :
关注流程中的瓶颈点,如等待时间过长的节点或信息收集不全的情况。 验证不同分支的流程,确保所有路径均能正确执行。 方法论应用要点
模块化思维 :确保流程的每个部分是独立模块,可以灵活替换或改进。并行处理 :尽量使用并行网关(Parallel Gateway)处理并行任务,提高效率。循环反馈机制 :引入循环结构,如客户反馈和确认步骤,保证流程的闭环管理。决策节点优化 :合理设置决策条件和分支,避免复杂度过高或逻辑不清晰。配套的提示词工程: 利用不同架构调教单块工作流,令其上下文输入输出稳定COAST提示词框架 COAST框架帮助你在与大模型的交互中提供背景、目标、行动计划、支持信息以及技术方案。确保交互有条理且目标明确。
示例 :背景 (Context) : “开发一个名为‘HealthMate’的应用程序,帮助用户通过跟踪饮食、运动和睡眠来改善整体健康水平。”目标 (Objectives) : “设计并实现一个简单直观的用户界面,3个月内实现5万次下载。”行动 (Action) : “创建功能,允许用户输入每日食物摄入量、运动时长和类型,以及睡眠时间。根据这些数据提供健康建议并跟踪变化。”支持 (Support) : “为大模型提供营养学、运动科学和睡眠健康的数据集,确保健康建议的科学有效性,优化用户体验设计。”技术 (Technology) : “使用React Native开发跨平台应用,结合大模型推荐算法分析数据并提供个性化建议。”ROSES提示词框架 ROSES框架用于创建结构化的提示,帮助你清晰表达需求,确保有目的的交流。
示例 :角色 (Role) : “你是一名经验丰富的用户体验设计顾问,专注于提升在线购物平台的转化率。”目标 (Objective) : “优化平台用户体验,减少购物车放弃率,提升转化率。”场景 (Scenario) : “平台在结账流程中流失了很多用户,服务涵盖网页和移动端应用。”预期解决方案 (Expected Solution) : “获取改善结账流程的策略和工具推荐,帮助用户顺利完成购物。”步骤 (Steps) : “列出具体实施步骤,包括分析用户行为、优化结账页面、用户测试工具的使用。”当然对应这个prompt从0到1的构建是比较困难的,我们可以借助提示词插件的功能来实现从0到1的构建。(在大模型应用中搜索prompt maker)
如果想要自己搭建一个生成prompt的agent,以下的agent初始设定可以给你一些参考:
编写清晰的指示 :详细、具体的指令能够提高模型输出的准确性。
示例:与其问“如何在 Excel 中添加数字?”,不如明确地说“如何汇总一列美元金额并显示在‘总计’列中?”提供参考文本 :给模型参考文本,特别是在小众话题中,以确保输出的准确性。
示例:指示模型基于提供的参考文献回答问题,并引用具体内容。拆解复杂任务 :将复杂问题分解为多个子任务,降低错误率。
示例:递归地构建长文档的摘要,按段分解总结。给模型“思考”时间 :通过思维链提示模型进行推理,提升准确性。
示例:要求模型在得出结论前先自行解决问题。使用外部工具 :通过集成检索系统或代码执行引擎,弥补模型的不足。
示例:利用基于嵌入的搜索系统或代码执行实现更复杂的任务。系统地测试更改 :设计全面的测试套件评估修改对性能的影响,确保改进是正向的。
示例:基于标准答案评估模型输出的改进。联合测试与效果优化: ● 项目评估经验
根据落地场景分析该项目中对应的所有对象,例如定级定责中分别从模型自身,使用对象,使用对象观察的内容,后期落地后运维人员,成功照顾了该场景的几乎所有对象。例如在企业事故后的定级场景中对于定级评分工作流评价体系:
从模型,用户,内容,后期运维四个角度考虑。
定级结果的鲁棒性(模型稳定性):输出结果的稳定,会不会因为模型温度或其他因素导致输出稳定性不足。
逻辑合理性(是否有前后逻辑不一致,是否不合常理的幻觉输出):检查每次模型是否对用户使用其并帮助其理解的逻辑语言判断。
正确性:评级定级结果输出是否正确。
可拆卸性:为后期运维而考虑的评分项。