尹会生《DeepSeek-R1如何重构RAG Agent的提示词工程范式》原创

好，呃，大家下午好，那个作为我们的这个第一个嘉宾啊，我就在这边先抛砖引玉是吧？呃，然后我们后边的话会有呃三位老师为大家分享呃，各个行业的这个精彩的这个案例，呃然后呢，大家会看到我的这个主题是吧，叫DCI如何重构RA和agent的这个提示词的一个范式。呃，为什么会有这样的一个主题呢？其实是从开年以后啊，那这边我呃自己的这个创业项目当中，给很多的这个公司来去部署了reg和agent，那这边的话呢，他们会有非常多的问题，那其中就包括说，呃，那我现有的这些通用模型啊，到底要换，要不要换成这个deep的这个RE1啊推理模型这么火啊，那这边是不是能够提升我现有的部署的这些，呃，这个准确度。啊，那还有的话，有的人说了，那这边我是先行者，那我再去替换的时候呢，那这边有没有坑，能不能这个在我替换之前啊，你提前把坑告诉我啊，那这边的话，我们就对这个很多的呃，我的这个呃商业化的这个客户啊和我的这个学员，呃来去什么呢，做了一个FAQ啊然后总结了之后的话呢，这边发现什么呢？就是大家对这个看文字啊，可能感觉呃并没有那么直观啊，所以呢，我就把它总结成这样的这个呃一个呃PPT这样的一个内容，那这样的这个内容当中的话呢，我希望能够让大家能够更好的应用这个d c ree, 呃来去解决什么问题呢？那第一个就是我们能够解决说现有的RA和agent，咱们要不要去换成这个ree，那换的时候到底怎么换啊，那这边现有的这些所谓的蒸馏的这些模型，那哪些模型可以用，哪些可以拿来进行微调啊，那这是这样的一个原因啊。

好，那这边我们面临的这个第一问题啊，其实就是所谓的说，呃，这个提示词是否还重要，呃，因为我们知道，其实对于这个通用大模型来讲啊，那我们需要去编写提示词啊，然后刚才呢，在这个呃座位上我还和这个其他老师，我说这个我们平常工作的时候啊，那有一些互联网上的黑化是吧？啊那这边对于这个通用大模型来讲的话，那这个通用大模型我们还要学会它的黑化，有提示词的这个公式是吧？啊那对于deep c re1，那这边是不是还需要是吧？那并且的话呢，我们这个re一到底有一些什么样的这个优势可以把它发挥出来。

呃，那这里边的话呢，像是我所接触到的很多的这个公司，还包括这个很多的这个个人的这个创业者的话呢，他去使用这个deep seek的ree的时候呢，那其实是有不同的这个部署方式，呃，我把他这个去做了一些统计是吧？呃，大部分人的话呢，其实还更多的是使用web方式，就是说通过你的这个问题，让他去替你解答你的专业的这些，呃能力是吧，然后除了这些的话呢，那还有很多人来去什么的去接入到这个API，呃，比如说像现在比较火的那个ch studio是吧，我在本地可以部署一个自己的知识库啊，那这边去调用这API的话呢，我可以让我的这个数据啊，更加的这个安全化一些。

好，那这些的话呢，我们说了再去用的时候呢，能不能去充分发挥我们的这个deep seek re1的一个优势呢？呃，那在里边的话呢，其实我们主要看什么呢？呃，看ree他的一个展示的这个结果啊，因为技术上的话呢，我们其实会看到有很多人分析说，呃，那这边他基于这个moe的这个方式啊，来去做的一个训练，那在训练的过程当中用了这个强化学习，但我们实际使用的时候呢，那更多的人是关注什么？呃，所谓生成结果的一个稳定性是吧？呃，但是我觉得很少有人来去关注说他的这个思考过程，呃，那这边我们说了，实际上我们所面对的这个deep seek的这个用户的话呢，其实是分成两类的啊，一类是我们的专业的用户，那专业的用户的话，我们去强调什么，呃，这个结果的一个准确性是吧，好，那我们自己是可以有能力去判定出来的，好，那还有大部分的话呢，我们说拿deep seek融入到我自己的产品的时候呢，面对的是初级和中级的用户。好，那这些用户的话呢，那这边他能不能来去分辨这个结果的一个准确性呢，一个是参考，那另一个是什么呢？就是所谓他的这个思考的这个过程。

好，那这边大神的这个出现的话呢，其实是打破了一个什么样的情况呢？那以前我们再去用这个提示词的时候，呃，我必须得写什么样的，写非常非常多的这些提示词是吧？呃，比如说像在这边我们的这个左侧的呃一张呃截图是吧？啊这个截图的话呢，其实是关于这个小红书的一个推广的文案是吧？对于这个通用的大模型，我要去编写的时候，咱们要依赖于很多的这个公式。呃，那这边我对他的这个评价是什么呢？就是如果想要让大模型干活，我们必须展示一个平面画的这个图是吧，相当于展示一个画卷给到大模型啊，那通用大模型才能给你干活啊，那这边对于我们的这个推理类的这个大模型来讲啊，那对于他来讲的话，那其实是不一样的，这个提示词的这个要求，然后左边这个话呢，其实大家熟悉提示词的话，会知道它是一个什么呢，叫CSPE的一个框架。呃，我要满足这个框架，然后呢，往里面填充我想要的这个内容的时候，呃，这个才能去完成所谓的通用大模型的这些提示词啊，那对于推理大模型的话呢，其实在去编写的时候，他也有公式啊，只是它的公式叫做什么呢？叫做面向目标式。

啊，就像我们程序员在去编程的时候，有面向过程和面向对象的这个感觉是一样的，好那以前我们需要去掌握黑化来去写提示词，但是现在的话呢，我们说了我们可以去什么呢？直接去写你的目标，然后再加上对应的这个需求，好那这时候其实大家就可能会有问题了，啊那我们以前在写通用大模型的时候呢，我们都会去应用一些技巧。呃，应用一些技巧，那这些技巧包括什么呢？比如像这个，呃思维链是吧，啊cot，呃这个技巧的话，我们经常怎么说呢？就是说问了这个问题，大模型回答不理想，通常会做什么，请一步一步思考。是这样的吧，好，那这边对于推理模型来说的话，他整个在输出过程之前，前面前面会有一个什么呢？叫Long cot是吧，就是他的整个的思考过程，那这时候如果你给了他一个什么呢？请一步一步思考带来的这个结果是什么？

呃，可能大家没有没有去，呃，这个太多尝试是吧，好，这个尝试的结果的话呢，不会让你的输出结果的准确率更高，而是什么呢？而是会让这个推理的模型在思考一部分之后，由于你提示词的一步一步思考，他会去重复校验一遍前面的思考过程。哎，也就时候同一件事情做了两遍，那这时候呢，会导致一个什么样的结果呢？就是我们在推理过程的这个long cot, 整个的思考过程，你的耗时是原来的两倍，但是得出来的这个结论不会更好，也就说我们写了这个代码，平常丢给我们的这个测试部门，你先测一遍，好，那这边我们测试部门再加了一个测试部门。好，那这边并不会因为我们中间多加了一个逻辑的链路，导致说我们的这个代码的最终的测试的质量的一个提升。啊，所以这里面的话，我们说了，那以前用到的这个提示词，呃，Co可能就不好使了。

好，那另一个的话呢，那这边我们去尝试说什么呢？呃，用了这个像这个one shot和那个multi shot的这样的一个提示。好，那这边比如说还是像我左边的这个提示词是吧，好，那比如说像通用模型是吧，我们说了，那如果想要生成的时候的，呃，符合这个某些平台的一些要求是吧？好，那这边说采用闺蜜口吻的这个方式来去，呃进行描述，好那这时候大模型说出来的更多的是人话是吧？呃，把这个AI味就就去掉了，好那对于推理模型来讲的话呢，那这边如果我们给他大量的这个。呃，提示呃是multi shot啊，给了大量的这个提示之后，那这边由于推理模型对你的提示词的敏感程度会比我们的通用模型更高，呃，所以就会出现一个什么样的情况呢？就是说在推理模型的这个过程当中，呃会因为你举的这个例子，然后呢，他整个写的思路会跑题啊会跑题，所以这里边的话呢，大家会发现，诶原有的这个，呃，我们想优化通用大模型的这个方式思维链和呃我们的这个modelsh可能就不好用了。

呃，效果怎么样呢？那这边其实我呃做了一个那个生成效果的这个截图啊，可能呃有点有点小是吧，那我大概大概那个念一下呃，生成的效果是什么样的？那这边我们如果以基于目的的这个方式，不用去增加这个思维链和提示过程的时候，我会发现结实算生成的效果已经非常非常好了啊，那在里面包括什么呢？使用了呃一些这个制造悬念啊，然后增加可信度啊，然后消除疑虑啊，促进转化等等，比如这些东西的话，以前我们是需要在其实词里边明写的，但是现在已经是不需要了啊，所以的话呢，大家不要去对推理模写啊，那去进行画蛇添足是吧。好，那这边像刚才我说的这个一步一步思考，还要不要是吧？啊，那这边其实有一些这个测试的一些样例，呃，然后呃，这边我就不在这儿去展示了，大家有兴趣可以拍一下是吧，然后来去做一个不同模型的一个对比啊。

啊，那这个是那个short是吧。嗯。好，那这边其实除了这个，呃，思维链和shot之外的话，那还有一个这个问题，就是以前我们在去写的这个提示词的这些公式，现在还要不要写。呃，以前的话呢，那这边我们去写的时候，其实会像左边这样去写是吧？好，那这边实际上写的时候呢，我们其实是可以什么呢？相对于R1，我们直接去按右边去写就可以了啊按右边写了，直接去强调你的目标，然后补充目标的一个背景，呃目标的背景，那如果你原来已经积累了大量的这个提示词的这个呃公式的话，那其实也不用说全盘抛抛弃，呃不用所有的东西都从头开始了，呃不用都从头开始，怎么做呢？那其实就可以用我的这种方式是吧，把呃改成保持是吧，呃，然后自然锁定到我们的这个核心需求上，呃，也就是说你以前所积累到的其实子公式不能直接用。呃，需要什么呢？把我们的这个增强的效果给去掉是吧，保留核心内容，然后的话呢，我们去把它改成什么呢？改成这种呃面向对象的这个方式，然后的话，那其实我们在呃听到这个社区当中的话呢，其实对这两个模型的其实词啊，呃有一个非常。

呃，这个这个形象的描述啊，这个描述就是什么呢？就是推理模型别加戏是吧？呃，我们以前用到的这个通用大模型的这些技巧啊什么的啊，大家不要乱加的意思好，那通用模型别偷懒，为啥。呃，如果用通用模型啊，我们的框架该写还是要写，呃，效果不好的时候，那这边我们的这个多个提示该加还是要加的，呃，所以这里边的话呢，这个是我们去应用它的提示词的这个两个，呃，最主要的啊，也是我们所看到现在很多企业的这个部署的时候，直接做模型替换的时候踩的这个坑，哎，很多人直接把deep c re替换掉原有的通用模型。啊，所踩到这个坑啊。好，那想跟大家去分享的另一个，呃，场景是什么呢？是就是我们的这个推理大模型，到底是不是能够做这种全场景的这个覆盖，呃，其实大家一想这个这个权力上的肯定是有问题的，是吧。

呃，那其实在企业当中的话呢，我们说了，那实际大模型去跑的这个过程啊，那我这边把它去简化一下，那就是客户端请求我们的这个呃，应用服务器，在应用服务器当中，我们再去，呃连接大模型，然后的话呢，我们说对于大模型的话，我们后边去加了很多的料是吧，这些料用来解决什么大模型本身的问题是吧？好，那对于通用大模型来讲呢，首先第一个是那个知识库是吧？呃，知识库是解决他的呃幻觉的这个问题的。啊，那第二个的话，那这边我们说了，想要去让我们的这个推理的，呃，让我们的这个通用的这个大模型的话呢，完成我们的rag的这个基本功能啊，那在里边我们其实是什么呢？是需要这个更好的向量数据库啊，进行我们的这个查询，呃，还有的话呢，那这边我们希望什么大模型能够调用工具是吧？啊防身call。好，那这边能够什么呢？去找到最新的这个知识，Search以及啊，我们希望他能够有这个agent的这个能力的时候，我们其实是需要我们通过我们的react这样的这个机制啊，所以这里面的话呢，整体上来说，我们落地给企业的这个大模型的形式啊，主要集中在哪呢？就是大家经常说的RA和agent，那把这两个技术来去拆开之后呢，无非就是。

呃，这些不同的这个模块啊，这些模块的话呢，就是解决呃现在通用大模型固有的这些问题啊，呃固有的这个弊端，好，那这些弊端的话呢，其实产生的原因一个是大模型自己本身的这个原因，呃另一个的话是什么呢？我们在设计它的时候，呃，设计rag的时候，其实就基于什么呢。呃，Rag的这个出现并不是因为这个技术必须得到了这个推广的是吧，而是什么呢？而是因为大模型本身有一些问题，我们才通过rag来去做的这个优化，好，那这边的话呢，其实我们可以把它理解成什么呢？叫理解成手动挡。呃，手动挡是吧？好，那这边这个手动挡的这个原因是什么呢？大模型在中间的思考过程可能会产生这类的幻觉，那这个幻觉的话，我们说了通过这个deep sky1可以把这个手工档变成自动档，但是在这里边的话呢，我们说了也会引入更多的这些问题是吧？啊，这些暴露的这个缺陷的话，我们就不在这，呃，去把它展开了啊。

然后的话，那这边很多的这个公司来去做这个，呃，大模型的这个落地的事情的时候呢，其实就出现了这样的几个问题是吧？那第一个问题的话呢，就是说我想要把所有的这个模型直接都替换成d c re1因为他们发现我单次对话的时候，呃，刚才大家注意我，我展示了一个企业对话的这个模型是吧？呃单次对话的时候，那基本上都是说呃，Re的回答准确度啊，远远高于现有的通用模型。好，那这边我们在公司当中啊，发现呃，落地的这个东西的话呢，也是基于这个通用模型的，我就直接完成一个替换，好，那替换带来的这个第一个问题是什么呢。就是这个问题。呃，上下文的这个窗口啊，它的这个大小其实会发生变化。呃，他的这个上下文的这个窗口发生变化，好，那这个发生变化呢，会导致什么呢？就是以前我们所用到的那个整个的这个rag，可能需要去非常长的这个内容啊，那这边在我们的这个DC个RE1当中，那上下文的这个窗口，就比如说呃，以前我再去部署的是前文的这个250啊，128K的这个tokens啊，那这边会变成64K。

对吧，整个的上下文窗口少了一半，好那这边直接去替换的时候，那这边我们不能直接完成，还需要什么呢，去解决这个上下文的这个窗口的这个问题，好这个问题其实还不是最主要的，还有一个呢，大家很多人没有考虑到的是什么呢？就是呃，费用的这个问题。呃，这个是，呃，我给某一个那个。呃，这个呃给给某一个这个这个这个呃旅游的这样的一个一个企业吧，啊他再去部署的是吧，那这边他实际上什么呢？是呃我们提前预留了这个DC卡IE的一个接口，好，然后呢，对于他的话呢，其实上下文的话，我们呃已经给他开放到足够大了，然后在里边他就做了一个这个替换啊替换完成之后的话呢，其实它产生了一个什么样的问题呢？呃上下文的这个限制的这个问题。

啊，商业文的限制问题，还有一个是什么呢？就是它的那个计费逻辑的这个问题啊，以前的话呢，那这边我们认为计费逻辑其实就是输入加输出对吧。好，那这边替换成DC和ree之后啊，那相当于说呃，用户还是正常去问他的这个智能客服的这个问题，但是实际上产生的这个结果是什么呢？啊，中间它有一个思维链的输出，而且现在思维链输出还不短是吧，那特定的问题的话，可能会引发什么呢？我们的这个思维链的这个输出甚至比你回答的这个问题还长，所以就导致说他们整个的这个用了一个月的这个费用。啊，是原来的2倍。啊，因为在输出的这个过程当中，我们一般的这个计费的这个逻辑是什么呢？啊，是我们的这个整个的这个输入加上输出，所以思维链里面是算上我们的这个输出的啊，所以会产生这个问题啊，那还有另外的话呢，这个企业可能会问了是吧？啊，那这边大模型的这个DC卡，如果输出了思维链，会不会导致我们正常回答的这个内容缩短。

呃，正常内容缩短，我说这个是不会的啊，为什么不会呢？因为在这里边的话呢，我们去设计的时候呢，那这边以前通用模型，我们其中有一个参数叫做最大上下文的这个限制的长度，这个长度其实是包括问题和回答的，而这里边我们的思维链的话呢，控制它的长度其实是有一个最大思维链长度。啊，所以这里面的话呢，并不是加上思维链之后啊，我们的这个回答的这个内容会变短啊，那这个是大家要知道的。好，那还有啊，那这边的话，我们说加了思维链之后呢，以前呃，设计好的这个对话的机器人，或者智能客服啊，那这边他的这个多轮对话。怎么来做是吧。哦，那多轮对话的话呢，其实会产生一个什么样的问题呢？那这里面如果有思维链的时候呢，对第一轮我们其实会输出啊正常思维链，那我们其实对多轮对话的一个组合来讲啊，那这边在第二轮的时候呢，我们需要把第一轮输出的思维链给抠掉。

哎，给抠掉啊，如果不抠掉的话呢，或者是处理的不干净，就经常有人出现什么呢？那第一轮正常回答，然后在第二轮的时候，那这边多出一个啊那种think，或者是转移的那个think的这样的一个标记啊，这个呢，其实大家可能会在某些公有云的这个平台上，你可能会，呃，看到多轮对话的时候呢，那中间会产生一些呃，你意想不到的这些符号是吧？好比如说在里边我们进行这个多轮对话的时候，记得把思维链去处理掉啊。哦，那还有的话呢，那这边我们如果想要去呃自己开发这种deep seek re1的这个产品的时候，那刚才说了这个提示词汇不一样是吧？啊，那这些提示词应该怎么写呢？比如像文件上传的，比如像网页搜索的啊，那在这里边的话呢，给大家一个呃这样的一个样例啊，给大家这样一个样例啊文件上传的和呃搜索这是在那个DBC他的那个官方get hop上面。呃，是有的是吧，好，那他整体的这个原则的话呢，就是正常我们先把用户的这个所有的问题啊问出来，那对于我们的这个搜索的结果来讲啊，对他的话呢，其实是有一些真实性的要求啊就可以了。

好，还有那现有的话呢，比如说我本身就是rag。呃，本身就是rag是吧？好，那这边如果我想要去把里边的大模型替换成deep c卡，我去替换哪部分是吧？好，这是一个rag的这个通用的一个方案是吧？呃，文档加载的这个部分啊，分割啊，内容的这个转化和索引，好那再往下面的话呢，用户提问，然后到我们的这个提实词，再到这个大模型啊，其实可以把这个部分来去做替换啊，但是如果我们单独只替换它的话，你会发现它的效果提升是有限的啊，但是反倒什么呢？我们的费用是翻倍的，然后思考时间是正常的。啊，也就是说你会发现什么呢？很多公司声称说，哎，我已经接入了deep c re1是吧，我接入了满血版的这个大模型啊，然后的话呢，那这边我们好奇来去尝试一下就会发现什么呢？呃，跟他们对话的时候，哎，确实呃这个回答的比以前准确多了啊，但是的话，你会发现他中间多出了很多很多的这个过程，或者我需要等待更长的一个时间，是吧？好，所以这种情况下我们其实可以什么呢？去啊不去啊，直接使用这个满血版的这个大模型。

哦，那还有什么样的这个方式。呃，能够更好的运用我们的这个，呃把DC可以用到我们的rag当中呢，啊，我觉得其实是可以这样的啊，那结合我们之前的这个，呃，直接连接和我们的这个rag的这个方式，呃我们这边中间的话呢，呃是可以什么呢？把直接链接rag和思维链，把它结合在一起，比如说所谓的这个RA模式。好，这个模式的话呢，其实是把我们的RA和思维链整个来去做的一个融合，呃这里面是截取了论文当中的这个呃一张解释的一个图是吧？那当我们就直接问问题的时候，那得到的一个呃并不算呃准确的一个结果啊，然后基于RA的话呢，那这边我们有了这个绿色的这个参考之后啊，那这边得到的这个结果的话呢，那呃相对较好是吧。

好，但是的话呢，我们说了得到了相应的这个结果，但是他的这个过程是不对的，所以中间加了一个思维链是吧，让他去做更好的一个推理，好，那最后的话呢，其实是我们来去把它做的一个融合，呃，但是以前的话呢，我们说想要去做这种事情的话，那rag我们需要去什么呢？通过我们的呃向量的这个呃数据库一一整套的rag这样的一个机制，然后呢，我们想要去引发这个思维链的时候呢，我们需要通过提示词的方式来去做这个提示词的一个，再再去做这个大模型的一个激发，对吧，最后才能形成这个RA方式，好，那推理大模型其实相当于什么呢？我们去直接问问题的时候，默认就有了这个推理的过程。好，那这边其实我们就会反思了，那用户真正需要的是推理的结果，还是他需要看推理的这个过程，还是他需要有有推理的这个能力。

呃，更多的是结果是吧，好，所以这里边的话呢，我们说那其实可以怎么做呢？那保留原有的rag，我们直接把直接的问题和cot来去捏在一起啊，捏在一起的话呢，就刚好是我们现有的啊DC卡的这个推理的模型。好，所以这里面的话呢，我们整个的这个rag的话呢，那这边把推理能力加进去就变成什么呢？变成我们的这个right的这个模式啊，那这个模式的话呢，其实它整个的这个过程的话呢，是包括这样的三个阶段，也就是我们正常进行这个内容的生成。呃，内容的这个生成啊，比如说我们，呃，想要让他这个结构是进行一些分步骤的，对吧？啊，用这些东西来去做这个分割的，那我们可以去依然使用现在的这个模板。呃，依然使用这样的一个模板，然后接下来的话呢，我们再进行这个检索增强的时候，我们可以把呃，历史的这些内容和我们的这个思维链，呃转化为我们的整个的这个检索的查询，就是让他在这里边我们就引入了这个cot。

好在引入了这个cot之后，我们这边来去看这个最终的这个结果，如果结果生成的效果不好的话呢，我们这边可以再通过这个思维链的这个方式，再去做这个逐步优化啊，那大家有兴趣的话呢，其实可以去关注一下这个right的模型的这个啊，这种模式的结构啊，这个模式的结构其实呃，还是原始的这个通用大模型，通过其实次激发的思维链，但是这个方式呢，我们现在其实是可以直接使用d seek re, 呃，来去把它替换掉啊。好，然后呃，我加快一点速度是吧。好，那还有什么样的这个事情，我们可能需要去考虑呢，很多呃企业其实落地了这个呃AI的agent啊，然后呢，比如说像这个呃，我们给客户做了一个叫做呃模拟法庭这样的一个场景啊，这个场景当中的话，我们其中不同的这个agent来去扮演法官，扮演律师，扮演这个原告，扮演被告啊，通过这样的一个方式，那这样的一个方式的话呢，其实他内部所引用的这个呃这个架构的话，其实是一个叫react的这样的一个架构，对吧，思考行动，思考行动呃这样的一个结果，呃但是这个c re1的话呢，在里面它是没有办法来去完成。

这样的一个功能的。对吧，因为他思考完成之后就直接给到结果了，没有办法支持方身call，呃，但是现在的话呢，其实大家会发现这一天我们其实会看到网上有一些产品是吧？呃，其实也能够完成这样的一个功能，那这个功能的话，其实我们细把它拆开之后呢，会发现，诶，它其实是一种拍peline的这个形式，有时候思考完成之后，呃，然后呢，再去调用的并不是动态调用的方式考而是什么呢？调用的外部的工具，把工具的结果再丢给。呃，这个，呃推理的这个大模型，比如说形成这个pipeline的这个这个形式是吧，呃，其实在工程上是非常有价值的是吧？呃也可以去完成这样的一个功能。嗯，还有不太好实现的，就是我们的这个agent当中的这个降级版是吧，那为啥叫降级版的，因为它只有agent当中的意图识别的这个功能，通用大模型其实做的比较好。

啊，通用大模型做的比较好，那这里边的话呢，可以使用推理大模型来去做替代，他的意图识别更准确，但是这里边建议大家使用蒸馏之后的这个版本啊，啊使用蒸馏之后的这个版本啊，因为蒸馏之后的这个版本的话呢，第一个它显示的速度会比较快。啊，速度会比较快啊，然后在部署的时候的话呢，那很多人说，哎，我其实想要去做一些尝试是吧，那做一些尝试的时候呢，这里边我们实际上可以用什么样的这个硬件来去跑这些东西呢？呃，给大家一个呃可参考的这个简单参考的一个列表吧，右边其实是那个欧拉玛的，呃，我做的一个截图是吧。啊，那对于大家的这个家用的，可能像这个4080这类的这个显卡，24g显存还可以跑啊，32B的这个模型是吧？啊两块啊可以跑麒麟B，呃，一般在企业当中的话，麒麟B是可以满足大家的这个通用的要求的。

好，那还有的话呢，大家说了，那其实很多时候我们自己在本地搭建的这个埋序版的DCIE1没有像是网上的那个官网上那么那么智能是吧，他没有先回答N，呃，我觉得他不是真的啊，其实不是的啊，呃，他先回答这个N是是怎么做到，其实是通过那个，呃在部署之后的话，他会有那个提示词当中的一些公式是吧？呃，你你先在让样他回答啊也可以啊，比如说像这里边我就给大家一个提供一个可修改的这个方法是吧？啊，直接把这个assessant和那个content中间加上我们想要的提示词啊，就可以做到这个事。嗯，还有关于这个很多人在去做这个副线的是吧？呃，副线的话呢，那这边呃，大部分人你看他最小用的是1.5B啊，很多人说我想在家来去玩玩这个复线这事，我发现有一个更小的模型叫0.5B的是吧。呃，为什么不行呢？那其实给大家去做了一个呃列举啊呃，其实主要就是推理能力和参数的这个受限。

呃，以上的话呢，其实就是呃，我想分享的这个主要的内容啊，这个时间有些过得可能比较快是吧。好，谢谢大家。喂喂喂。好，再次谢谢尹老师的分享。好，那也看一下咱们今天现场有没有小伙伴想要跟尹老师做交流啊，大家可以直接举手提问，线上的朋友们如果有问题的话，也可以在各个直播间的评论区进行留言，被抽取到的提问者呢，我们会为你送出腾讯的限定周边礼品一份。嗯。呃，老师你好，我想请教一个关于那个deep sick提示词的一个问题，嗯，因为我最近也在开发这相关的应用，呃，我虽然是前端，但是后端给我返回的数据的那个格式就不太可控，呃就是我遇到一个问题，就是说需要后端返回一个HTML的一个标签，它是一个自定义的标签，然后我需要通过那个标签来提取它里面的一些，呃，比方说data或者是typeb相关的数据，但他给我的就是呃数据总是不符合预期，就是经常会出现一些呃错乱的情况，比方说我要求他给我一个，呃，就是数组对象嘛，然后他会给我返回一些呃，GS识别不了的，比方说像元组这些东西，然后怎么样能够保证他的这个输出的这种格式可控的。

呃，我觉得可以从两方面入手啊，第一个方面就是说大模型能不能认到，就是大模型认不认识这个类型，然后第二的话呢，就是说他能够认，到时候能够输出的准确，我们从这两点来解决，那第一点的话呢，我们把它拆开来说啊，那第一点来说，那他能不能认识，那其实是模型在预训练的过程当中，它的数据的这个问题，比如说像现在的话，很多的大模型说是支持Python编辑很好，呃支持Java，支持go浪等等这些编程语言是非常强的，但是如果我给他一个像这个，呃，一个比较小众的语言的时候，那他的回答效果就并不好好，那这个原因其实就是他预训练数据的这个问题，好，那这个问题的话呢，其实可以通过模型的微调的方式来去做解决，呃，微调的这个方式的话呢，其实是可以参考一个比较典型的项目，叫做NL to circle口，就是自然语言转成circle口的这个方式，只是它转成的不是circleq，而是您的那个前端的这个代码啊，这是所谓在预训练方式去解决，呃，然后另一个方式的话呢，就是说他能够认。

到，但是它输出的内容不靠谱啊，那这种情况下，我们其实是需要通过提示词的方式啊，那如果是我们的这个通用的这个大模型的话呢，我们可能需要像刚才我提到的one shot和few shot的这个方式。

在提示词上，就是告诉他你输出的格式应该遵循呃所要求的这个格式的这些类型啊，然后另一个的话呢，就是我在呃输出的时候的话呢，那这边看看是否能够去做一些呃程序方面的校验，比如说这个程序输出的结果不好的时候，可以让他呃，Rere吧，再来给我输出一遍。这种方式好好，谢谢老师。好，那咱们现场还有没有小伙伴想要提问？好，那我们看一下线上直播间的小伙伴有没有问题。花花提了一个问题，有了模型的深度思考和超长上下文之后，IG是不是没那么必要了？这个问题挺好的。

呃，那首先的话呢，那么这边我们来去看两个啊，那第一个的话就是有了这个深度思考和超长上下文，呃，这个超长上下文，呃，这个超长上下文的话呢，其实也要看那个大模型的这个单次能够处理的长度，这个长度的话，就是刚才我在PPT当中展示的那个上下文最大的这个长度，呃，因为往往我们在企业当中这个知识库，它的整体上的这个大小可能会超过百G，甚至超过T。啊，那整理这样大型的这个知识库的话，我们是没有办法直接把它加载给这个大模型，它一定会超过这个最大的长度，好，那超过最大长度的话，我们其实就要去从里面做筛选，而筛选这件事情的话，我们说传统系统当中做的最好的就是什么，我们的推荐系统是吧。好，那这边所谓的这个rag的说现在的话，在这个AI里边其实听起来比较新，但实际上他所用到的就是我们所谓的呃，这个呃模型的这呃用到的这个推荐系统，只是推荐系统和我们rag比起来是没有模型的。

啊，是没有模型，所以其实我们所谓的现在的这个rag为什么能够落地啊，并且落地的效果这么好，那之前又没有很多的这个先例，是因为我们所谓的这个rag系统，就是大家之前所用到的推荐系统，只是在推荐系统的基础上把模型加进去了。啊，就是还是回归到我们最原始的这个方式来去解决这些稳定性的这个问题。好。