00:00
但解决大模型随意杜撰的问题,非常符合我们本地知识库的要求,你可以跟着视频一起体验一下。好了,话不多说,那我们尽快开始吧。我们在浏览器敲入欧拉曼,点。Com进入欧拉曼的官方网站,进入网站之后,我们点击下面的download的按钮,在这里选择你的操作系统,我用的是Mac,大家选择自己的就行。欧拉玛的使用方法在各个系统上都是一样的,选择好系统后,我们点击这里下载。下载完成后,我们解压并安装,安装过程每个系统可能都不太一样,不过大同小异,过程中可能会提示你设置一些东西,比如命令行环境,直接点击下一步就行了。安装完了我们打开欧拉玛,你可能像我这样没有什么反应,不过没事儿,其实已经打开了欧拉玛没有界面,只会后台运行。我们可以打开浏览器,输入localhost冒号11434,然后回车,如果界面上显示olama is running, 那就没问题了。
01:01
我们再次进入欧拉玛的官方网站欧拉玛,点com点击页面上方的models。再点击目前排行第一的DEEP21。这里有很多参数量可以选择,数字越大效果越好,但是所需要的显卡配置也就越高。一般来说,7B在效果和硬件要求两方面上可以达到一个比较好的平衡,对于知识管理来说基本上是够用了。所以这里我选择7B,然后我们点击右面的复制按钮。接着打开终端。粘贴等待它下载完,我之前下载过,有缓存,所以很快就下载完了。一般来说你可能需要等个一段时间,毕竟7B的模型有4.7GB这么大,下载需要等一会儿。下载完后,我们就可以在命令行里面直接使用欧拉玛了,我们问他问题,他会给我们回答,如果你像我这样也可以问答的话,那就没问题了。我们按CTRLC退出这个对话。我们在浏览器输入anythingllm.com,来到anything l LM的官方网站,点击下面的download for desktop, 在选择你的操作系统之后就会开始下载了。下载完后我们安装Windows和macs的安装方式有些不同,不过跟普通的软件比没有什么太大区别,就照常安装就好了。
02:22
安装好了之后呢,打开它。点击get started, 它首先会让我们选择LLM,我们搜索欧拉玛。并确定下面的模型与我们之前下载的相同,我这里是deep sick r17B,然后点击下一步,再点击下一步。之后呢,我们点击skip,跳过问卷调查,输入工作区名称,这个名字可以随便起,之后我们便来到了anything l LM的主界面,到这里我们就算启动成功了。
03:08
Anything l LM的左侧为工作区,这个default便是我们初次启动时定义的工作区名称,右侧呢便是对话区,我们可以随便在对话区问问试试。比如quantum x1pro的重量是多少?这是我编的一个手机名称,现实生活中根本不存在,而且我也没有上传任何文档,很多大模型在此时就开始胡说八道了。看结果呢?也确实是这样,我们怎么能让大模型诚实的告诉我们他不知道呢?我们可以点击工作区左侧的设置按钮,再点击聊天配置,可以看到这里有两个聊天模式,一个是聊天,一个是查询。当Anything l LM没有在我们上传的文档里面找到任何与问题相关的内容的时候,这两种模式的处理方式是不一样的。聊天模式会根据大模型自己的知识给我们一个答案,即使这个答案是错误的,他也会强行回答。而查询模式则会在此时诚实的告诉我们找不到任何相关的文档,我这就将它改成查询模式,然后点击update workspace更新工作区,这样可以有效的防止大模型胡说八道。设置好了之后,我们回来再问一下相同的问题。
04:22
可以看到,这次anything l LM直接告诉我们没有相关的信息,只不过这个回复是英文的,如果你看起来不是很方便的话,我后面会介绍如何把它变成中文。我们暂时先把其他最重要的内容讲完。既然是知识管理工具,那自然得有上传文档的地方。我们打开软件,点击工作区右边的上传按钮。我这里准备了两个文件,都是我编的,手机的规格,现实生活中根本不存在,其中就包括我前面问的quantum x1pro的重量。我们把这两个文件拖到anything l LM里面。
05:04
然后全选点击move to workspace, 它们就会出现在下方的工作区文档区域。紧接着我们点击save and in bed, 把它们保存起来。第一次保存可能会等个几分钟,我之前保存过了,所以很快就完成了。然后我们回来再把前面的问题问一遍。可以看到deep r1发现了我们上传的文档中提到了这个手机的重量,最后呢,他就自信的回复了192g。我们点击下方的show citations.之后呢,就可以发现deep seek所参考的文档列表,点击其中的quantum X PRO手机规格这个文件就可以看到具体的内容,手机的重量确实是192g。回答,没有问题,我们上传的文件的确起到了作用。我们在anything l LM里面可以定义多个工作区,每个工作区都有自己上传的文档、聊天模式等,彼此之间互相隔离。比如我们可以创建名为地区介绍的工作区,打算在里面放各种地区的介绍内容。
06:13
同样,我们把他的聊天模式设为查询。问一下之前的问题,回答的答案都是没有相关信息。可以看出这两个工作区的文档确实是互相隔离的,下面我们往这个新的工作区里面上传一个文档。这个文档的名称叫做azure bay, 介绍azure bay呢,也是我编的一个区域,里面包括这个区域的经纬度等信息全都是编的。我们的目标就是看看deep sick会不会只根据文档内容来回答。上传完毕,我们来问一下a bay的经纬度是多少?
07:08
看来deep找到了答案,还给出了引用文档,我们看一下。Deep的回答确实是正确的。当我们问的问题在所有文档里面都找不到的时候,Anything l LM会诚实的告诉我们找不到,但回答用的是英文。你如果想改成中文的话,可以点击工作区的配置按钮,再点击里面的聊天配置。将拒绝响应内容修改为中文,你可能会发现上面有个聊天提示也是英文的。与下面拒绝响应内容不同的是,聊天提示是在问题有对应文档的时候使用的。Anything l LM会将你的问题对应的文档内容和聊天提示同时发送给deep sick, 引导它通过文档来回答问题。如果聊天提示为英文的话,Deep seek偶尔也会选用英文回答。为了解决这个问题,你也可以将聊天提示修改为中文。全部修改完毕后,我们点击最下面的update workspace, 然后返回问答页面。
08:10
再问一个没有对应文档的问题,此时anything l LM给我们返回的就是中文了。顺便提一下,我之前也介绍过Google的notebook LM, 在我的频道里面可以找到对应视频,它跟anything l LM有点类似,也是用来处理知识和笔记的。Notebook LM解析文档的准确率和总结效果都要比本地知识库好不少。当然它最大的缺点是数据存储在云端,而不是本地。不管怎样,感兴趣的小伙伴可以看看。好了,今天就到此结束了,如果我的视频可以给你带来帮助,欢迎点赞并订阅,我们下次再见,拜拜。
我来说两句