前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【深技大mini项目】快速学习和承接陌生领域项目的流程和配套的提示词工程

【深技大mini项目】快速学习和承接陌生领域项目的流程和配套的提示词工程

原创
作者头像
木向
修改2024-09-24 15:37:05
2360
修改2024-09-24 15:37:05

快速学习和承接陌生领域项目的流程

1. 需求获取与评估
  • AI落地需求样式:接收需求方填写的AI落地需求表格。
  • 定期反馈机制:设立定期反馈机制(如每日或每周进度报告),确保与需求方保持同步,避免项目方向偏离。
  • 项目里程碑设定:提前设计项目的关键里程碑,确保每一阶段都有明确的目标和交付成果。
  • 可视化工具使用:使用项目管理工具(如Trello、Notion)与需求方共享项目进度,确保信息透明并方便即时反馈和调整。
2. 利用大模型(LLM)进行知识摸底
  • 知识获取:利用大模型(如GPT)进行知识摸底,迅速获取该领域的核心概念、最新进展和主要框架。必要时,结合结构化学习路径(如MOOC课程或行业认证课程)掌握基础知识。
  • 学习方式:采取以解决问题为导向的学习方法,按需获取所需知识,避免广泛而无针对性的学习。
  • 关键技巧:在不熟悉领域时,提出正确问题至关重要。通过LLM快速积累领域知识,以帮助你提出高质量问题,并推动进一步学习和深入理解。
3. 拆分项目,设计工作流
  • 看板方法:使用看板方法(Kanban)将项目进行精细化拆解,确保每个任务都具备清晰的时间节点和可交付物。
  • 工作流规划:为每个任务设计明确的工作流,清晰定义每个步骤、流程的负责人和具体目标。
4. 设计项目Prompt并进行单元测试
  • Prompt设计:根据每个子任务的需求,设计具体的AI agent提示词(Prompt)。在Prompt设计时,加入反向验证机制,通过对比评估AI agent的输出准确性。
  • 单元测试:对Prompt进行单元测试,验证每个Prompt的稳定性和一致性。在小范围实验中优化提示词,确保其稳定性和效果。
5. 联合测试与效果优化
  • A/B测试:在联合测试阶段,采用A/B测试对照实验,测试不同Prompt组合的效果,确保最佳的输出质量。
  • 定量评估:设定关键绩效指标(KPI)或使用用户反馈评分,定量衡量Prompt和工作流的效果,并优化流程。
  • 流程灵活性:确保工作流具备扩展性,能够快速适应需求方的动态调整和新需求。

工作需求AI落地需求样式:

实际案例(必填)用于评估输出的校验项(必填)

实际案例(必填)大模型输出(必填)

实际案例(必填)用户输入(必填)

实际案例(必填)知识库检索输出

你在实际工作流程中遇到了什么问题?(必填)

你想使用 AI 来实现的任务 & 价值评估

你想使用 AI 来实现的任务(必填)输出

你想使用 AI 来实现的任务(必填)输入

你想使用 AI 来实现的任务(必填)你的解决思路

你想使用 AI 来实现的任务(必填)任务描述(必填)

你想使用 AI 来实现的任务(必填)价值评估(必填)

领域专家接口人(必填)

相关知识库知识库描述(必填)

相关知识库知识来源(必填)

补充信息

利用大模型(LLM)进行知识摸底--AI Boost学习方法论--对于陌生领域的学习

从造纸术的出现,到电脑硬盘,知识的存储变得越来越容易,获得知识的途径也变得更丰富,所以有人说未来的知识越来越廉价了,我们不在需要学习知识,从前,我们获取知识的途径有限,大多遇到一些优质的资源无论其是否是自己所需要的,都想学一学,但如今随之LLM的时代到来,知识的获取变得极为的轻易,那么我们对于知识的了解就更应该“接地气”一些,遇到问题,需要什么知识我们就学什么知识,以解决问题为导向的学习。

在一个模式领域以解决问题为导向进行学习,我们需要的往往是提出一些好问题,那么在对应领域中提出一些好问题也需要我们具备相应的知识,有幸的是LLM恰巧最不缺的就是领域知识。

那么接下来,我们分享一个使用LLM来进行陌生领域学习与提问的方法论。

以下使用‘golang后端开发’这个领域为例子:首先,在大模型(以chat-gpt为例)按照模板提问,模板prompt:“我是一名golang后端开发领域的小白,请告知我在该领域必须掌握的100个基础概念,并给出每个概念的详细解释。“

……以下省略剩余部分(如果LLM没有输出对应数量的基础概念,你可以在prompt中输入‘继续输出’)。在我们了解相关领域的基础概念之后,我们能够利用大模辅助我们提出二十个相关领域的元问题。模板prompt“我想深入全面的学习了解“golang后端开发”相关的知识我应该问你什么问题?请至少列出20个。”

(此处截图有所省略)在收集到20个元问题后,我们可以将其存放在我们设置的思维导图中(这里推荐亿图)。

那么我们在得知这些元问题后,我们需要使用能够输出信息来源的LLM应用来搜索相关问题,例如(perplexity,kimi,秘塔等)。在这些应用中搜索出来的答案都是有明确的信息来源,具有较高的可信度。---(如果使用perplexity建议使用英文进行搜索,以下为了阅读流畅,使用中文进行演示)此处我们在perplexity中使用上述最后一个元问题“Golang 在微服务架构中通常是如何被应用的?“进行演示。

在此类搜索型LLM应用中,其搜索结果最后往往有相关问题,我们可以将这些相关问题集合在我们的思维导图中。

由此,我们可以由20个元问题扩展到120个问题,在这120个问题的提问与学习中,我们还可以使用特定的prompt来使得LLM成为我们在特定问题上的专属导师。特定的prompt是由github上的开源提供:Mr.-Ranedeer-AI-Tutor/Mr_Ranedeer.txt at main · JushBJJ/Mr.-Ranedeer-AI-Tutor (github.com)使用特定的prompt之后,我们将问题中想要详细了解和测试的内容进行计划:以下我们使用子问题“如何在Golang中实现微服务的自动化扩缩容“来进行演示:输入特定的prompt后,LLM会给出下述回答:

为了方便教学,我们可以将语言切换为中文,并于此同时设置学习计划。

学习完之后可以进行测试。

测试的详细内容在下述链接,如有需要可转移到链接内了解:https://chatgpt.com/share/6c22ec8b-2202-474b-9261-9d4ea57e4916好了,到这里我们也就完成使用LLM进行提问,学习,测试的闭环啦!恭喜你,在个人精进的道路上更进一步!

那么在快速学习一个陌生的领域后,我们可以更快速的理解企业的业务目标、痛点以及预期通过AI技术实现的价值。

拆分项目,设计工作流(BPMN工业建模):

利用BPMN对需求进行工业化流程拆解:

如何对需求进行bpmn工业建模,以下列需求为例:

“首先将已有的工单处理记录处理解析录入知识库,客户输入具体工单问题,及可能的相关上下文后,开始工单处理流程:

1. 首先确认问题类型(问题咨询 / 产品问题解决),如有需要,引导客户补充完整问题解决需要的信息,如QAPM版本,前端现象/问题请求现象/k8s集群状态/监控信息等,直到确认基本信息补充完成(人工 / 大模型确认)。

2. 若为问题咨询工单,则直接基于相关历史工单处理记录,给出相应回复;若为产品问题解决工单,则基于QAPM的问题定位流程参考,结合相关历史工单处理记录给出问题定位结果,得到QAPM运维人员肯定后,给出问题解决方案回复。 3. 持续回复&推进流程直到客户确认结单。 ”

为了将该需求进行BPMN(业务流程模型和符号)的工业建模,我们需要将其分解为不同的流程节点和决策路径,并明确每个环节的输入、输出以及不同角色的参与情况。以下是详细的BPMN建模步骤和指导:

1. 启动事件(Start Event)

  • 输入:客户输入具体工单问题和上下文信息(如工单号、描述、相关信息等)。
  • 触发条件:客户提交工单。

2. 工单问题类型确认(Task: 确认问题类型)

  • 类型:用户任务或系统任务。
  • 描述:根据客户输入的内容,确认问题属于“问题咨询”还是“产品问题解决”。
  • 人工/自动化选项:可以通过人工(客服人员)或大模型AI确认。

3. 问题信息补充(Subprocess: 信息补充)

  • 子流程:根据工单类型,系统会要求客户补充相关信息,包括QAPM版本、问题现象、k8s集群状态、监控信息等。
  • 并行网关:可以并行地补充不同类型的信息,如客户提供前端现象时,可以同时填写监控信息和集群状态。
  • 结束条件:所有必填信息确认补充完成。

4. 问题类型分支(Exclusive Gateway: 工单类型分支)

  • 条件判断:根据问题的类型,流程分为两个不同的处理路径:
    • 问题咨询工单
    • 产品问题解决工单

5. 问题咨询处理(Task: 基于历史记录回复)

  • 类型:用户任务或系统任务。
  • 描述:系统自动基于已有的历史工单处理记录,给出相应的建议或回复。

6. 产品问题处理(Subprocess: 产品问题解决流程)

  • 子流程描述:按照QAPM的问题定位流程,结合历史工单记录,进行问题定位。
  • 人工协助(Task: QAPM运维人员确认):在系统得出问题定位后,需要由QAPM的运维人员进行确认是否符合实际情况。

7. 解决方案回复(Task: 解决方案回复)

  • 类型:用户任务。
  • 描述:一旦运维人员确认问题定位,给出相应的解决方案,并回复给客户。

8. 持续回复与客户确认(Subprocess: 持续推进流程)

  • 子流程描述:在解决方案提供后,客户可以继续询问或提供反馈,流程将不断循环,直到客户确认问题已经解决并结单。
  • 条件判断:如果客户确认问题解决,流程进入结束阶段;如果没有,则继续推进。

9. 结束事件(End Event)

  • 触发条件:客户确认工单已完成,系统关闭工单。

BPMN流程图大致结构:

  1. 启动事件(客户提交工单)。
  2. 确认问题类型。
  3. 根据问题类型补充信息。
  4. 工单类型分支:
    • 问题咨询:基于历史记录回复。
    • 产品问题:QAPM问题定位 → 运维人员确认 → 解决方案回复。
  5. 客户反馈:持续推进,直到客户确认。
  6. 结束事件(工单结单)。

通过这个流程,确保工单的处理过程能够顺畅地自动化或半自动化完成,且不同类型的工单都能得到相应的处理和反馈。

以下是具体的BPMN工业建模方法论

方法论概要

“分解-分析-建模-验证”四步法

  1. 需求分解:将业务需求分解为明确的功能单元和步骤。
  2. 流程分析:识别并区分自动化任务、人工任务和决策节点,定义角色和信息流。
  3. BPMN建模:使用BPMN图形符号将需求可视化为流程图。
  4. 流程验证:通过模拟或实际运行验证流程的合理性和效率,反馈调整。

方法论详细步骤

1. 需求分解
  • 目标:从高层次的业务需求中提取核心任务和步骤。
  • 操作
    • 将复杂的业务场景分解为具体的任务或步骤。例如,工单处理可拆解为工单接收、问题分类、信息补充、问题解决等核心任务。
    • 定义每个任务的目标、输入输出,以及涉及的关键数据(如工单编号、问题描述、上下文等)。
  • 注意
    • 保证任务的独立性和可操作性,每个步骤尽量能独立运行或评估。
    • 对于复杂的步骤,进一步进行子流程的分解。
2. 流程分析
  • 目标:明确流程中需要执行的任务种类(自动化/人工)、信息传递的路径、决策的分支。
  • 操作
    • 任务分类
      • 人工任务:由操作人员执行的步骤,如问题确认、信息验证等。
      • 自动化任务:系统自动执行的步骤,如自动查询历史记录、发送通知等。
    • 信息传递
      • 明确每个步骤的输入和输出信息,包括工单号、监控数据、确认结果等,确保数据流清晰。
    • 角色定义
      • 指定不同角色的参与,例如客户、客服人员、运维人员等。
    • 决策节点
      • 定义决策点,如基于问题类型选择不同的处理路径,确保每个分支有明确的判断条件。
  • 注意
    • 保持流程清晰且具有可读性,不要在同一节点承担过多任务。
    • 避免信息传递过程中数据丢失或不完整。
3. BPMN建模
  • 目标:使用BPMN符号将上述分析结果可视化为流程图。
  • 操作
    • 使用标准的BPMN符号构建流程,包括:
      • 事件:如开始事件、结束事件。
      • 任务:具体的任务(人工/自动化)。
      • 网关:表示分支和合并点(如条件判断、并行处理)。
      • 数据对象:描述数据传递的载体(如工单、上下文信息等)。
    • 建立清晰的控制流(任务间的执行顺序)和数据流(数据传递路径)。
  • 注意
    • 流程图应简洁明了,避免冗余,确保每个符号的作用清晰。
    • 使用子流程(Subprocess)对复杂步骤进行封装,使主流程保持清晰。
4. 流程验证
  • 目标:确保模型的合理性、效率和可行性,通过验证发现并修正问题。
  • 操作
    • 流程模拟:在BPMN工具中模拟执行流程,检查每个节点是否正常运作,数据是否顺利流转。
    • 实地测试:选择真实的业务场景进行测试,观察流程的执行情况,收集客户和操作人员的反馈。
    • 优化迭代:根据反馈结果调整流程结构,确保流程顺畅、无瓶颈。
  • 注意
    • 关注流程中的瓶颈点,如等待时间过长的节点或信息收集不全的情况。
    • 验证不同分支的流程,确保所有路径均能正确执行。

方法论应用要点

  1. 模块化思维:确保流程的每个部分是独立模块,可以灵活替换或改进。
  2. 并行处理:尽量使用并行网关(Parallel Gateway)处理并行任务,提高效率。
  3. 循环反馈机制:引入循环结构,如客户反馈和确认步骤,保证流程的闭环管理。
  4. 决策节点优化:合理设置决策条件和分支,避免复杂度过高或逻辑不清晰。

配套的提示词工程:利用不同架构调教单块工作流,令其上下文输入输出稳定

COAST提示词框架

COAST框架帮助你在与大模型的交互中提供背景、目标、行动计划、支持信息以及技术方案。确保交互有条理且目标明确。

示例:
  1. 背景 (Context): “开发一个名为‘HealthMate’的应用程序,帮助用户通过跟踪饮食、运动和睡眠来改善整体健康水平。”
  2. 目标 (Objectives): “设计并实现一个简单直观的用户界面,3个月内实现5万次下载。”
  3. 行动 (Action): “创建功能,允许用户输入每日食物摄入量、运动时长和类型,以及睡眠时间。根据这些数据提供健康建议并跟踪变化。”
  4. 支持 (Support): “为大模型提供营养学、运动科学和睡眠健康的数据集,确保健康建议的科学有效性,优化用户体验设计。”
  5. 技术 (Technology): “使用React Native开发跨平台应用,结合大模型推荐算法分析数据并提供个性化建议。”

ROSES提示词框架

ROSES框架用于创建结构化的提示,帮助你清晰表达需求,确保有目的的交流。

示例:
  1. 角色 (Role): “你是一名经验丰富的用户体验设计顾问,专注于提升在线购物平台的转化率。”
  2. 目标 (Objective): “优化平台用户体验,减少购物车放弃率,提升转化率。”
  3. 场景 (Scenario): “平台在结账流程中流失了很多用户,服务涵盖网页和移动端应用。”
  4. 预期解决方案 (Expected Solution): “获取改善结账流程的策略和工具推荐,帮助用户顺利完成购物。”
  5. 步骤 (Steps): “列出具体实施步骤,包括分析用户行为、优化结账页面、用户测试工具的使用。”

当然对应这个prompt从0到1的构建是比较困难的,我们可以借助提示词插件的功能来实现从0到1的构建。(在大模型应用中搜索prompt maker)

如果想要自己搭建一个生成prompt的agent,以下的agent初始设定可以给你一些参考:

  • 编写清晰的指示:详细、具体的指令能够提高模型输出的准确性。 示例:与其问“如何在 Excel 中添加数字?”,不如明确地说“如何汇总一列美元金额并显示在‘总计’列中?”
  • 提供参考文本:给模型参考文本,特别是在小众话题中,以确保输出的准确性。 示例:指示模型基于提供的参考文献回答问题,并引用具体内容。
  • 拆解复杂任务:将复杂问题分解为多个子任务,降低错误率。 示例:递归地构建长文档的摘要,按段分解总结。
  • 给模型“思考”时间:通过思维链提示模型进行推理,提升准确性。 示例:要求模型在得出结论前先自行解决问题。
  • 使用外部工具:通过集成检索系统或代码执行引擎,弥补模型的不足。 示例:利用基于嵌入的搜索系统或代码执行实现更复杂的任务。
  • 系统地测试更改:设计全面的测试套件评估修改对性能的影响,确保改进是正向的。 示例:基于标准答案评估模型输出的改进。

联合测试与效果优化:

● 项目评估经验

根据落地场景分析该项目中对应的所有对象,例如定级定责中分别从模型自身,使用对象,使用对象观察的内容,后期落地后运维人员,成功照顾了该场景的几乎所有对象。例如在企业事故后的定级场景中对于定级评分工作流评价体系:

从模型,用户,内容,后期运维四个角度考虑。

定级结果的鲁棒性(模型稳定性):输出结果的稳定,会不会因为模型温度或其他因素导致输出稳定性不足。

逻辑合理性(是否有前后逻辑不一致,是否不合常理的幻觉输出):检查每次模型是否对用户使用其并帮助其理解的逻辑语言判断。

正确性:评级定级结果输出是否正确。

可拆卸性:为后期运维而考虑的评分项。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 快速学习和承接陌生领域项目的流程
    • 工作需求AI落地需求样式:
      • 利用大模型(LLM)进行知识摸底--AI Boost学习方法论--对于陌生领域的学习:
        • 拆分项目,设计工作流(BPMN工业建模):
          • 利用BPMN对需求进行工业化流程拆解:
        • 配套的提示词工程:利用不同架构调教单块工作流,令其上下文输入输出稳定
          • COAST提示词框架
          • ROSES提示词框架
        • 联合测试与效果优化:
        相关产品与服务
        腾讯云 BI
        腾讯云 BI(Business Intelligence,BI)提供从数据源接入、数据建模到数据可视化分析全流程的BI能力,帮助经营者快速获取决策数据依据。系统采用敏捷自助式设计,使用者仅需通过简单拖拽即可完成原本复杂的报表开发过程,并支持报表的分享、推送等企业协作场景。
        领券
        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档