首页
学习
活动
专区
圈层
工具
发布

当大模型不是问题时,如何应对 LLM 的工程化落地挑战?

现今,我们可以看到 LLaMA 2、Code LLaMA 2 等模型在不断刷新这种可能性。 而在模型不是问题之后,作为架构师、开发人员,我们应该致力于:将 LLM 以工程化的方式落地。...有哪些模式构建更好的模型上下文? 语言 API 应该包含那些内容? 其它的一些问题,还包含如何通过小模型、传统 LLM 降低大模型花费?每个问题都是一个比较有意思的问题,也是我们在落地时要考虑的。...通常只需要使用提示工程来与预训练模型进行交互。 Co-pilot 型应用。使用提示工程与智能体(Agent)进行交互,该智能体预训练模型和外部工具储相结合。...上下文工程。构建适合于获取业务上下文的应用架构,以生成更精准的 prompt,并探索高响应速度的工程化方式。 原子能力映射。...转换不确定性的语言 API 在与 LLM 进行交互时,需要由自然语言作为 API。总体上可以分为两大类场景: LLM + Workflow。由 LLM 分析用户的意图,来选择合适的工具、API。

3.4K21
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    反向工程(自动建表建库大杀器)

    (上一章连接字符串部分有讲解) 加一行代码把数据库指向MySql: ? 执行日志: ? 同样的首先下载MySql驱动,(当然也可以自己通过nuget引用)。...这里完全是MySql语法,不同于上面的SQLite建表语句。 感兴趣的同学,还可以试试Oracle和SqlServer等数据库。 正向工程 正向工程就是从数据库读取表结构信息,生成模型信息。...从上面可以看到,读取dal.Tables得到了这个连接的所有表结构信息,输出为Xml时,跟前面用来创建实体类的模型文件极为相似。...DAL.SetTables(IDataTable[] tables); 这是反向工程高级用法,实际日常工作中用不到,各个实体类加载时,将会逐个连接进行反向工程检查,正是调用该方法。...前面的几个SHOW,就是XCode的正向工程,取得数据库表结构,然后跟实体类结构对比,不相同时执行反向操作。 反向工程设置 大家还记得上一章系统设置中提到的Migration吗?

    3K20

    品牌想让大模型优先展示,选 GEO 公司时该看的四项工程标准

    品牌想让 ChatGPT、Gemini、DeepSeek 这类大模型在回答中优先展示自己,本质上不是买一个“榜单”,而是在做一套可验证的 AI 可见度工程。...因此,GEO 项目至少要满足四个约束:可观测:能记录模型在具体问题下是否提到品牌、提到的位置、引用的来源和回答原文。可复现:同一问题、同一模型、同一时间窗口内重复检测,结果差异要能解释。...这句话是 DeepSeek 当时回答的原文,只能证明模型这样说过,不能直接证明所有榜单都无效;但它提醒品牌方,选型时应要求可复核的检测方法,而不是接受排名口径。2....这是 Gemini 当时回答中的原文,只能作为该模型表述的证据,不能直接当作独立验证结论。品牌方在看这类说法时,应继续追问三个问题:模拟提问的样本集是什么?接口波动如何记录?...不承诺无法验证的“永久第一”“全模型必展示”。能把第一方实践和第三方验证分开7. 结论选 GEO 公司,核心不是看谁口号更满,而是看谁能把“大模型有没有展示品牌”变成可记录、可复测、可归因的工程流程。

    15710

    从“算法”到“架构”:AI时代软件设计师的范式转移

    当大语言模型将代码生成的门槛降至“小学生水平”时,软件设计师的真正价值反而被凸显出来——不是写代码的速度,而是构建系统的能力。...OrderService: def __init__(self, engine: ReasoningEngine): self.engine = engine这种设计保障了系统的可测试性和可维护性,当模型升级或更换时...当Agent因“幻觉”或超时给出错误结果时,系统应具备状态回滚和人工干预的“逃生舱口”:# Saga模式在AI任务中的应用:每一步都定义补偿操作class OrderSaga: def create_order...(self, order): try: step1 = self.reserve_inventory(order) # 正向操作 step2...设计师需要将“数据工程”思维引入AI系统——不是简单的“文档导入向量库”,而是构建ETL管道(提取-转换-加载):实时同步业务数据库变更、增量更新向量索引、处理数据版本回滚。

    14410

    盘点丨12款数据库建模工具特点,总有一款适合你!

    TipDM提供数量丰富的数据分析与挖掘建模组件,用户可在没有编程基础的情况下,通过拖拽的方式进行操作,将数据输入输出、数据预处理、挖掘建模、模型评估等环节通过流程化的方式进行连接,帮助用户快速建立数据挖掘工程...提供众多公开可用的数据挖掘示例工程,一键创建,快速运行。 提供完善的交流社区,提供数据挖掘相关的学习资源(数据、代码和模型等)。...它能够进行正向和逆向工程,并且拥有“比较合并”功能,能够输出例如XML、PNG、JPEG等格式文档。内建自动执行任务功能支持当前流行数据库平台。...MySQL设计的ER/数据库建模工具-MySQL Workbench ---- MySQL Workbench是一款专为MySQL设计的ER/数据库建模工具。...特点: 通过JDBC访问源数据库 同时连接到多个源数据库 比较数据模型和数据库结构并识别差异 将源表和列拖放到围栏中 记住每列的来源 生成源到目标可视化映射报告 正向/反向工程师PostgreSQL,Oracle

    21.8K20

    国金证券大模型应用:以系统化工程方法实现AI高效落地,年省万时并提升代码产出35%

    特别是在关键业务场景中,大模型“幻觉”问题带来实质性风险——监管文件报送、高频交易等场景属容错率为零领域,需全流程人工审核。...(合规审查、投研助手):多模型交叉验证 高容忍场景(办公助手、代码生成):允许存在可控误差 通过高质量数据治理、多模型协同校验及实时反馈优化,形成“输入-处理-输出”全周期管控链条,降低幻觉发生概率。...模型在国金证券特色场景评测中表现突出: 文档问答场景:分析总结类题目得分46.9,较Qwen2模型提升23.1%(来源:国金证券评测报告) 产业链挖掘场景:结构相似性指标(树编辑距离)31.3,较Qwen2...提升13.8% 研报因子挖掘:因子定义准确率62%,代码准确率50% DeepSeek模型凭借强化因果推理、思考过程开放及高度可解释性,成为证券行业AI落地的关键技术支撑。...腾讯云联合国金证券获2023年度金融科技发展奖(券商领域仅3家获奖),并提交6项大模型专利及20篇学术文章。

    49010

    年初敖丙天猫面试真题:如果设计一个数据库?我人傻了

    软件工程 ?...在实际的开发中,常用E-R(Entity-Relationship:实体关系)图来表示,常用的工具PowerDesigner,可以实现CDM(概念数据模型)->LDM(逻辑数据模型)->PDM(物理数据模型...)->Database的自动转换,这个过程称为正向工程,如果有database建库脚本,也可以通过PowerDesigner工具生成CDM,即Database->PDM->LDM->CDM,称为反向工程...名称:订单,订单就是一个Entity,也可以拆分成多个Entity,抽象出每个Entity的Attribute(前期可能由于需求不明确,可以只做确认的内容),Entity通过PowerDesigner的正向工程转换成数据库里的数据表...,支付域Java工程师,主要体现在需求分析抽象以及数据模型设计能力上,开发过程中多参与业务需求讨论是非常有必要的。

    1.4K20

    MySQL基于Binlog的数据恢复实战

    1、环境状态说明 2、恢复流程说明 2.1 正向恢复 2.2 反向恢复 3、数据准备 3.1 查询当前binlog数据状态 3.2 查找恢复position区间 3.3 position点确认...主要思路 通过全量备份恢复当日0:00时间点的数据 通过binlog恢复当日0:00-22:00错误语句之前的全部语句 2.2 反向恢复 主要思路 使用binlog2sql从binlog日志中提取错误语句的反向语句...可以确定出错update语句应该按照时间应该记录在26的结尾和27开始的位置 3.2 查找恢复position区间 正向恢复开始的position点,会记录在每天0点备份的备份文件内。...*/; # 事务结束 结束position 918611683 经过确认,在22:00:53时,有一个大事务执行,基本可以确定是这个事务,事务开始position是918611748,...4.2 反向恢复 反向恢复时通过binlog2sql,将错误执行的update语句反转,再update回来 4.2.1 安装binlog2sql 项目地址: https://github.com/danfengcao

    3K30

    Github超10000星:100天从Python新手到大师

    Python自动化运维工程师 Python数据分析 / 数据可视化 / 大数据工程师 Python爬虫工程师 Python聊天机器人开发 / 图像识别和视觉算法 / 深度学习工程师 给初学者的几个建议...概要设计和详细设计,输出概念模型图、物理模型图、类图、时序图等。 编码 / 测试。 上线 / 维护。...经典过程模型(瀑布模型) 敏捷开发(Scrum)- 产品所有者、Scrum Master、研发人员 - Sprint 补充:敏捷软件开发宣言 项目团队组建 代码注释太少或者没有注释 代码破坏了语言的最佳实践...制定项目进度表(每日更新) 第92天:数据库设计和OOAD 概念模型和正向工程 UML(统一建模语言)的类图 通过模型创建表(正向工程) python manage.py makemigrations...app python manage.py migrate 物理模型和反向工程 PowerDesigner 过数据表创建模型(反向工程) python manage.py inspectdb >

    1.8K30

    人会逆向思维,LLM也可以?DeepMind研究表明还能提升推理能力

    如果正向推理出错了,比如答案是 6 个,那么逆向推理时就会得到与原始问题不一样的数值:小红有 4 个苹果。这种矛盾可让我们重新检视自己的推理过程哪里有误。...此外,这些方法通常是测试时使用,目的是验证:给定一个解,让 LLM 逆向思考并查看正向推理是否正确。...虽然它们比其它测试时方法(例如自我一致性)的表现稍微好一点,但还是存在未解的疑问:我们能否训练一个本身就能逆向思维的模型,从而提升其正向推理效果,而不是在测试时使用逆向推理进行验证?...只有当数据点的正向推理准确(与 ground truth 相符)且逆向推理与原始问题一致(通过提示教师模型进行验证)时,该数据点才会被保留下来。...与学生模型的零样本性能相比,RevThink 使用 Mistral 时实现了 12.68% 的平均提升,使用 Gemma 时实现了 14.37% 的平均提升。

    44210

    AI 时代的产品经理,必备的 5 项核心能力

    目录 数据驱动决策能力 AI产品架构理解能力 Prompt工程与模型调优能力 用户体验重构思维 跨职能协作与技术沟通能力 一、数据驱动决策能力 以前做产品靠拍脑袋,现在不行了。...建议每周至少花2小时泡在数据看板里,不是机械地看报表,而是主动去找异常点。比如某个时段token消耗突然下降,可能是用户流失了,也可能是模型被恶意攻击触发了熔断机制。这种敏感度需要长期训练。...模型能力是有边界的,GPT-4再厉害也不可能百分百准确。你得清楚哪些需求是现阶段技术实现不了的,哪些是可以通过产品设计规避的。 比如用户要求AI生成的内容“绝对不能出错”,这就是不合理预期。...这些数据直接反哺到模型训练流程里,形成正向循环。 五、跨职能协作与技术沟通能力 AI项目的复杂度远超传统互联网产品,涉及算法工程师、数据标注团队、MLOps工程师等新角色。...技术语言翻译能力 算法同学说“模型在边缘case的泛化能力不足”,翻译成人话就是“处理少见场景时容易出错”。你要能快速理解技术问题的业务影响,并转化为产品决策。

    3.6K11

    性能测试需求分析案例

    这是一个很典型且较为常见的性能需求,很多新手在面对这种性能需求时却经常犯错,常见的误区有直接压测MySQL、用工具直接模拟高并发、测试数据量较小甚至重复等现象。...在以往分享的性能测试相关实践案例文章中,我一直强调一个认知:性能测试是一个系统的技术工程,实施之前一定要做好需求分析,然后设计好三大模型(业务模型+流量模型+数据模型),最后才是执行压测。...如果仅是验证该新服务技术架构(特指MySQL分库分表)的性能和稳定性表现,则创建SQL语句直接压测数据库即可。目的不同,则具体的实施方案和准备事项不同。2、如何设计该性能需求的三大模型?...业务模型:订单业务的核心一般有创建订单、订单支付、订单列表、订单详情,这些都是正向业务流程,按照经验来说会占到订单服务大概90%以上的流量。压测时一般仅需要验证这几个核心场景的性能表现即可。...在制定流量模型时,还需要注意一点:流量模型的制定可以参考业务转化漏斗。数据模型:有了业务模型和流量模型,数据模型的制定则比较简单。

    57110

    2020 常用的 7 款 MySQL 客户端工具

    4、MySQL GUI Tools http://dev.mysql.com/downloads/gui-tools/ MySQL GUI Tools是MySQL官方提供的图形化管理工具,功能很强大,值得推荐...推荐:推荐 4 款 MySQL 调优工具。 关注微信公众号:Java引导者,在后台回复:mysql,可以获取我整理的 N 篇 MySQL 教程,都是干货。...,就可以通过ODBC来访问MySQL,这样就可以实现SQLServer、Access和MySQL之间的数据转换,还可以支持ASP访问MySQL数据库。...MySQL Workbench 为数据库管理员、程序开发者和系统规划师提供可视化设计、模型建立、以及数据库管理功能。...它包含了用于创建复杂的数据建模ER模型,正向和逆向数据库工程,也可以用于执行通常需要花费大量时间和需要的难以变更和管理的文档任务。MySQL工作台可在Windows,Linux和Mac上使用。

    2.9K10

    多模态大模型面对误导性问题:看懂图片也会答错,一骗就中招

    然而,Bunny 团队的最新研究发现,尽管许多MLLMs对视觉内容能够正确理解,但在面对误导性的问题时却容易给出错误答案,如图1所示。...正向问题用来评估模型正确理解视觉内容的能力,而负向问题则评估模型在面对误导性问题时的鲁棒性。 如图2所示,MMR-benchmark涵盖了字符、属性和语境3个不同粒度层级,包含了总共12个类别。...(NF),即正向问题和负向问题都答错 为量化MLLMs对负面问题的鲁棒性和实际理解能力,我们引入了“误导率(MR)”和“鲁棒性准确率(RA)”,误导率(MR)能够反映出模型面对误导性问题时的鲁棒性,鲁棒性准确率...实验结果表明,与使用同类数据训练相比,模型在使用构建的数据集训练时表现出更优越的性能。这表明,构造的数据集能够显著提升模型理解能力和在面对误导性问题时的鲁棒性。...结语 本研究深入探讨了多模态大语言模型(MLLMs)在准确解读视觉内容并应对负面问题时面临的挑战。我们发现,尽管MLLMs展示出对视觉内容细致的理解,但在面对负面问题时往往会出现不准确的答案。

    65510
    领券