向量数据库在智能CRM的实践和探索原创

大家好，我是肖瑞义的王朝辉，然后我们的话是基于这个腾讯云的下面数据库的话，研发的智能的这个CM产品应用，然后今天是个特别好的机会啊，来和大家分享一下，我们最早基于这个大模型去做这个智能产品的时候，如果你仅仅只是用大模型的话，很快在客户那就会碰到很多的这样的一些具体的问题，因为第一个问题的话，数据的安全和合规性要求，因为因为销售一直做CM系统的，CM系统里面最重要的就是客户资料，这个客户资料啊，客户是特别特别担心会去泄露的，我们提供客户说如果基于大模型的话，去给你做这种客户的推荐，或者客户的信息的总结摘要，客户第一反应就是说，那如果大模型学会了我的客户信息之后，其他人会不会通过大模型的话，造成我的这个数据泄露？对吧，这是第一个，然后第二个的话，在公司内部进行访问的时候，这个客户数据之间是有权限的，各个部门之间的话，各条航线之间，这个客户信息都是不能共享的，那如果说是这个大模型的话，不能够根据权限，按照不同的人，甚至说是要拒绝生成结果的话，那这样的话，这个这个这个产品就没有办法去落地，所以第一个是数据安全性，合规需求，然后再一个的话，我们做的这种业务系统的话，他这个数据是比人快速变化的，而且要求实时响应。

比如说如果有一个服务的一个工单，对吧，从客服的呃受理一直到中间的技术支持的处理，一直到最后的整个结案，可能一天的话，这个工单的话，开关修改了十几次，那这个时候的话，如果说我去问这个智能产品，我说你帮我总结一下今天某某工单的话，现在是个什么处理进展问题在哪？啊，大摩亲。大魔经可能就会回答你给我几分钟学习一下，要么你过会来问，要不你要是明天来问对吧？因为那个大魔型目前不管虚拟还是微调的话，少则的话得十几分钟，长则的话可能几十个小时，而且你公司的话还不一定有这种人才能够做到这种大模型的微调和训练。

然后再一个的话，这个场景是众多的，因为不同的场景的话，它会运用到不同的这个数据，就有没有一个比较好的一种统一的方案去集中解决这些业务痛点的。就无疑的话，这个向量数据库的话，是目前我们就是探索出来的一个成本比较低，而且实践效果非常好的一个解决方案，就是如果说大模型的话，他是一个人对吧，他像一个人，他解决的智力的问题，那这一个向量数据库的话，它其实就是一个图书馆。而这个图书馆的话，其实是带一点智能的，因为它可以做这种语音相关的检索嘛，本身就拥有这种智能的能力。也就是说，如果没有大模型的话，你可能就没有智能，但如果没有相应数据库的话，你可能整个SaaS产品的话就构建不起来。大家可以看到这是我们的整个那个架构的一个概要的一个展示啊，这个紫色这一部分的话，就是交E原来的这个CM系统，大家看到我们这里的数据就是非常多的，首先有这个客户商机，还有工单的数据，然后我们还有知识库里面的这种问答，问答的语料，还有文答，各种形形色色不同的文档，还有图片，还有这种销售的这种电话录音呐等等音视频的一些数据。

然后的话，中间是我新打造的这个消易的智能平台，然后下面的话，这个腾讯云的下面数据库，就是我们中间非常非常重要的一个基础设施，也就是说我们整个智能平台，一个大模型的话，不是直接去处理这个CRM系统的数据的，我们首先的话是把CM系统这些数据，这些结构化或者非结构化的数据，然后我们进行计算、切片、分割处理完成之后，我们是保存了腾讯的相应数据库的，然后当这个用户提问的时候，我们会做意图识别，然后从腾讯的相应数据库里面返回结果，然后把这个结果的话，再具体结合大模型的话去生成一个答案。然后基于这样的一个，我们认为在CM领域啊，一个比较统一的架构，我们就可以向上去支持销售助理，智能推荐，智能机器人这些的应用场景，然后的话，今天主要是讲两个场景，第一个的话是这一个智能客服机器人，因为你用大模型做这个智能应用吧，第一反应肯定是做这个智能机器人，就不管是销售领域的售前机器人，还是售后服务领域的这种，呃，问答机器人，对吧。

然后我们是基于大模型和这个腾讯的下的数据库的话，我们做到了意图识别，多轮对话，然后检索这一个CM系统的信息，而且可以对CM系统的话进行一个新增的一个查改，然后今天的话正好是我也录了一个视频，所以今天的话可以给大家分享一下。首先的话是寒暄对话，就以前这种问答机器人啊，寒暄其实挺难做的，就问难不难做，寒暄难做，但是现在的话，寒暄是一个标准功能的，然后接下来的话，我们去问了一个问题，比如说某一个里边是某一个96型号，然后它的系统电压范围是什么，然后这个结果出来的话，这里面就是结合了大模型和这个相量数据库，综合给出一个结果，他首先给了一个正确答案，又给出了三个相关的相同推荐，然后接下来是多轮对话，我们也看到我接下来问过放保护，我这个问题其实已经不完整了，这个大模型的话，它是基于上下两个两次对话，然后去找这个答案，我接下来再给第三轮大家看看，第三轮我再问过，冲的时候就剩下两个字了。

这时候大模型的话是结合了三轮对话，然后去找答案，其实这背后的话，我们运用这个相当的数据库的话，也就做了这个多轮的这个处理，还有这个意图的识别，就整个过程的话，不光光是用大模型单独就能完成的。然后的话，前面是这个知识问答，我们还做了这种售前的这种留资，比如说当客户说我要试用你们产产品的时候，首先大部分就是做了一个意图识别，就要求客户的话去留电话。

然后现在的话，我开始留电话，比如我姓王，然后我的电话是什么什么，然后我公司不说，然后接下来这个大模型的话，他就会去做这个意图识别，然后结合下面数据库的话，就调到我们这个CM系统这个API接口，然后去CM系统里面创建的一个线索。大家看到这个的话，就是我们在原来那种问答机器人上做的更深入的应用，它可以结合场景的话，就直接操控我们整个CM的这个系统。如果说我现在作为一个客户，我现在投诉对吧，我刚试用你的产品，我很很不满意，那现在的话，我投诉我说你的产品功能的话其实不完善，然后页面呢打不开，然后接下来呢，接下来的话，这个机器人就会去创建一个投诉工单。这个地方展现的就是在这种售后服务场景的话，去受理这个客户的这个客诉的这个需求，然后除了去直接查询那个知识库之外，我们这个机器人的话，还可以去查询查询CF系统，比如说这个机器人的话，我现在让他去查一个某个产品的信息。

然后这个机他很有可能先去这个数据库里面，发现知识库里面没有这个文档，然后他接下来的话会去检索CM系统的这些数据，然后从CM系统的这个产品的对象里面，然后返回整个产品的这个参数，大家可以看到现在的话，结合这个大模型和这个向量机器人的话，向量的这个数据库的话，这个机器人能力的话，目前是。已经达到了近似于这种人工客服了，他可以含暄对话，他可以去检索这个知识库，它可以支持多轮，他可以做一图识别，然后他可以处理客诉，创建工单，然后他还可以去呃收集客户的电话号码，创建线索，然后他还可以去反过来查询CM系统所有的数据，然后返回给客户。其实我们大多数一般的这种基层坐席的话，每天做的工作也就是这些工作了，因为再复杂的工作都必须创建工单，给后边的技术支持是处理的，所以这个是我们发现基于现在的这种大模型和相应数据库的话，这一个客服机器人的话，他的能力的话是达到一个前所未有的一个地步。

然后的话，在我们CF系统里面。其实我们本身的话，还有大量的这种信息检索，还有客户的推荐的这种需求，这个的话也是向量数据库的话，非常深度的一种应用，首先的话，原来我们是做这种全文检索的时候，只能基于这种字段做这种结构化数据的检索，就是这种方式的话，它虽然很精准，但是它带来的这一个缺点的话也是挺明显的。就是首先的话不支持这种语音相关，就是你必须你要明确你要给接锁条件，然后给字。然后的话，再一个的话。就是整个返回的结果是比较狭窄的，虽然说是很准确吧，但是他返回的结果的话就是准确的，有时候找不着答案，因为为什么呢？因为有时候客户的需求的话，他很有可能就是一句话就进行结束了，然后我们现在的话是利用这一个向量的这种检索的话，对我们整个全文的这个检索的话做了一个升级，现在不光可以去解这种结构化的信息。

就是呃，以前的那种非结构化的这种数据，比如说我们每一个客户对象商机下面的话，都会有各种各样的这种文档的数据，还有当时的会议纪要，还有当时的客户的这种拜访记录，还有这种活动记录里面的客户的痛点，现在全部都可以用这种语音相关来进行全部的检索，就整个能力的话达到了一个飞跃，然后检索的这一个我问题解决了之后，接下来就是做推荐了，因为最高端的检索其实就是推荐。在销售易的场景里面的话，经常会有这种，因为我们是做那种销售过程管理，是那种比较复杂的项目型销售管理，销售的话，他拿了客户的需求回来之后的话，他会有当时客户的需求痛点，下一步行动计划，他接下来回来他就得找材料。那我现以前的时候就必须要通过这种条件检索呀，或者在群里面去问才能知道的话，那有什么材料跟我这这个客户的话是比较相关的，然后现在的话可以把这种自然语言就是几段话，然后直接去做这种检索。

然后通过解锁的文档之后，反过来的话是基于客户的这个规模，然后他的这个特征，然后他的经营范围，还有他曾经在交易做过的这个系统的功能，还有需求的话，可以去做这种相似的客户推荐，比如说我现在的话承担的一个客户，那么系统的话可以抓住这些特征的话，去推荐公海池定面推荐，或者去那个工商信息里面去找出更多的这种相似的客户信信息出来，然后帮助销售的话去拓展客户，然后在服务的场景的话，可以推荐这种故障的诊断信息。因为因为很多这种故障的诊断的话，它其实不是在知识库里面的。因为嗯，除了个别的这种比较完善的这种大的集团企业，其实大部分企业的话，那个知识库都是非常不完善的，他们真正的那个知识在哪呢？他们真正的知识在跟客户沟通的那一个历史里面，在那个工单处理的过程里面。

所以这个时候的话，你实际上是要基于当前的工单上的客户的问题，然后用这种自然语言的话去检索相似的一些工单的解决方案出来，这个反而是他们更需要的，所以我们在这个基础之上的话，去实现了这种推荐故障还有诊断，另外还有类似这种推荐产品和报价，这个的话是我们在这种销售云的这种检索，还有这种推荐上的话，利用这个腾讯云上的数据库的话，做的是比较深的这种应用。然后应用这个腾讯的像数据库，这几个月来我们感触是挺深的，首先的话，这个高性能大规模就不用说了，我们最早的话是自己部署一套开源的，但实际上证明的话，呃，用腾讯的这个数据库，不管是性能、规模还是响应的程度上的话，都比我们私有化部署的那一个高一个量级。然后再一个的话，腾讯这一个数据库的话，它支持向量和标量的混合检索，这个大家可能做SS应用的话是非常关键的。

因为你一直做问答的话，你可能用不到标量，但你做SAS应用的话，不是简单的说你用个下量之后，原来那些字段，那些结构其你都不用了，其实不是原来那些按条件解锁，按场景，然后的话按权限都是要去通过这个标量去检索的，我们最早的解决方案的话，我们一开始啥的解决方案是把两个不同的数类型的数据库混合检索，然后再重拍给大家。但是后来我们发现腾讯的这一个向量数据库的话，它其实本身就是一个混合解决方案，它并不是单单的一个向量，它实际上是标量和向量的混合存储和解锁，这样的话，我们只要一次查询就可以返回所得到的所有信息。然后再一个运维是轻量简便。我们当时五六月份开始启动产品研发的时候，我们整个运维团队的话，都不知道这个项目数据库是什么东西，既不知道部署，然后的话也不知道怎么运维，然后中间该选哪些，那个索引呢，或者怎么去调用啊，这一块都是一边空白，一开始的话，我们在这一块的话踩了非常非常多的坑。

包括现在的话，但是现在我们去用的这个腾讯下载数据库这一块，这一块的话，其实就不需要我们去处理了，我们只要去简单招用就可以了，而且这一个腾讯云的数据库团队的话，是非常非常专业的，像罗云罗总的话，当时亲自带队的话去支持我们，我们当时给他们列出了20多个问题啊，是我们一个月攒下来的坑，然后在一天之内全部给我们解决了，就是极大的去推动了我们的整个产品的落地，然后在刚大家刚才看到的那个架构里面的话，目前这个腾讯的这个下能数据库这一块是我们整个架构里面目前最稳定。然后的话问题最少的一部分，所以这一块的话。也是多亏这个腾讯云的数据库团队的支持，然后我们的产品的话才能够去迅速的落地。然后销售易的话，除了刚才介绍这几个场景的话，我们还做了很多的这个场景，主要的话还是分这个销售领域和这个服务的这个领域，然后会场外的话，有我们的一个展台，还有一个白皮书，然后大家也可以去我们一个官网上的话去试用我们的产品，嗯，行，我今天就分享到这了，好，谢谢大家。