开源＋本地运行！效果最好的中文类CHATGPT大模型平台闻达测评

我们今天测试的一个在本地运行的GPT大模型系统，闻达。

闻达：一个LLM调用平台。旨在通过使用为小模型外挂知识库查找的方式，在不能涌现的前提下实现近似于大模型的生成能力

目前支持模型：、、、。

知识库扩展模型能力

支持参数在线调整

支持、、流式输出和输出过程中中断

自动保存对话历史至浏览器（多用户同时使用不会冲突，暂不支持）

对话历史管理（删除单条、清空）

支持局域网、内网部署和多用户同时使用。

闻达实际上是一个本地运行LLM大模型的python程序，它可以同时支持多个模型，还可以联网访问BING去搜索知识库。模型方面，目前官方支持GLM6B和RWKV-7B(开源反向学习GPT训练的大模型）及CHATYUAN 三个模型，后续还会支持更多更新更强大的模型。

闻达提供了基于GLM6B模型的引擎，其实在很多方面表现都不亚于文心一言，更重要的是，它可以在具有8G显存英伟达显卡的电脑上稳定运行，当然，也无需各种魔法上网，你完全不用担忧拿不到内测，又或者经常担心被openAI封号。

所以，在某些“够用”的层面上，闻达搭配国内的开源模型是一个不错的选择。

下面，让我们展开测评吧：

目前，闻达经过一定时间的迭代，目前支持知识库功能，也能自己制作训练集，基于知识库的加强，它可以有截然不同的表现。

比如：下面这段比较差劲的，是没有打开知识库的：

然后，我们打开知识库选项：

输出立刻提升一个档次有没有？

我们使用的情况是，GLM6B在很多方面都可以胜任文字工作；而RWKV在写一些小说、文案上有时会有惊喜。

设计旅游路线，无压力。

让我们再试试代码吧。

代码能力，并不能说很优秀（需要debug）,并不能直接跑，但结构上是可以的。

GLM6B并不具备画图能力。但它一本正经的指导我们去做设计。

最后，我们让它给我们讲个睡前笑话，放松一下。

当然，这个笑话好像并不是很好笑~

关于闻达。提供一个直接解压就可以使用的版本，请关注本公众号后回复“闻达”获取。

需要提醒的是，不同的模型有不同的硬件要求。GLM6B一般来说需要至少6G，最好8G以上的英伟达显卡。RWKV-7B需要的硬件要更高一些。

总结一下，闻达经过一定时间的迭代，目前支持知识库功能，也能自己制作训练集，基于知识库的加强，你可以让它在某些特定的行业获得加强buff（比如客服专精），因此，它在某些程度上是可以部分替代CHATGPT的（特别是你无法魔法上网的时候）

当然，这也意味着，你需要自己摸索研究，通过开源获得更多的资源。但一切都可控，本身就是非常吸引人的。

repo地址：https://github.com/l15y/wenda