大语言模型：LLM的高阶应用「工具和插件」

之前有段时间，网上对于AI大模型比较9.9和9.11那个大的问题，引发了一波大众对AI大模型的质疑。

当你了解LLM的原理后，就知道背后的原因是因为LLM本身不具备数学能力而导致的，它只能进行文本预测。欢迎回顾前面的内容：

那么当在使用LLM构建应用程序时，LLM本身又不具备某些能力时，该怎么办呢？

这时候，就涉及到工具的使用了。例如用户和你的智能客服进行订单状态咨询时，你需要LLM能够借助sql语句来查询你的数据库，然后回复用户等。

目前市场上大部分的LLM提供的工具服务，主要分2种类型：工具函数，和插件工具。

工具函数：用户根据自己项目的需要，通过自定义函数来实现一系列能力的扩展。

插件：开发者可以基于自己的API服务构建插件，可上架到GPTSstore中，供第三方使用。

虽然这2种方式有很多地方很像，但是终归是不同的发展定位。工具函数，更像是LLM平台提供的一种扩展，而这个扩展能力仅得使用方自己来开发且无法向外推广。

而类似于GPTs的插件工具，则是一种生态的构建，插件开发好之后即可以自己用，也可以上架到GPTstore中供第三方使用。在国内，虽然没有插件市场，但是却形成了类似于扣子的智能体市场，提倡Agent即服务的思想。

不管是工具函数、插件、还是智能体平台，都是在不断扩大LLM的能力边界，虽然目前GPTs发展的并不理想，但是从长远发展来看，这3个因其定位不同，都有很大的市场空间。

目前GPT Store仅对Plus会员开放，因其中智能体的同质化严重，用户槽点较多，可能短时间很难发展起来，所以这里我们就先不考虑插件这种方式

我们以kimi为例，来介绍它的函数工具。如果不嫌麻烦的话，可以直接查看官方的API文档：https://platform.moonshot.cn/docs/api/tool_use

在工具的使用上，kimi一方面支持自定义函数工具，另一方面也提供了最常用，联网搜索的内置工具($web_search)，不过这个内置的联网搜索工具函数除了额外的Tokens消耗外，还需再收取一次调用费用，价格为 ￥0.03/次。

我们这里主要介绍一下，Kimi的自定义函数工具，国内其他的LLM所提供的函数工具，基本上也都差不多。整体流程如下

上图是官方给的一个时序图，如果不懂技术的伙伴，可以直接看下面这张图，逻辑都是一样的。

那么工具的使用（Tool Use）具体是怎么实现的呢？这里放一个官方示例，来感以下：

虽然代码有点儿长，不过还是比较好理解，在kimi中使用工具，需要先定义好tools，包括：

函数名：即调用的函数名；

函数描述：即函数的作用，以及什么情况下LLM出发此函数，这部分需要不断的调整和测试，尽可能的覆盖所有的函数调用场景。

函数参数：即函数的入参，LLM可以从用户的提问中，来提取入参。

在tools中定义好函数后，后面就是具体的函数代码实现，以及函数的调用了。

以上便是LLM的工具使用，由于篇幅限制，感兴趣的伙伴可以直接阅读官方文档，学习更细节的内容。

另外就是，有没有一种开箱即用的工具箱呢？可以根据我们的需求来进行调用，当然有。在LangChain框架中，内置了很多工具，如下图所示：

使用这些工具的前提是，你必须得使用LangChain框架，而LangChain框架，也是目前基于AI大模型进行应用开发最强大的框架，不过需要注意的是，LangChain目前迭代的速度非常快，这意味着不太稳定性，在真实的业务中，如果不是极度依赖LLM那么还是建议基于LLM平台的API来构建应用即可，关于LangChain后面我们会详细介绍。

好了今天的分享就先到这，感谢观看。