搭建本地知识库的操作方法（Ollama+AnythingLLM）

在本篇经验中，我们所用到的大模型以 deepseek-r1:8b 和 nomic-embed-text为例，同时对于deepseek模型大小的选择需要充分考虑本地硬件配置，本篇经验所涉及的硬件配置为GPU8G+内存32G。若低于此配置，deepseek可以选择小一点的即可。 一些应用场景的感悟：搭建本地知识库其实作用还是挺大的，最适合公司内部署、有多年职场经验的或是创业中的小伙伴，可以很好的将手头上n多的资料管理起来，查询时再也不用在各个磁盘里各种翻阅了，即保证了材料的安全又能极大地提高了资料的使用率和办公效率，真心很爽！

一、确认本地电脑配置

这一步很关键，涉及到后面安装deepseek模型大小的选择，可以使用这个网站参考进行选择：

https://lively-naiad-30128a.netlify.app/

二、Ollama安装

首先需要下载 Ollama 以及配置deepseek，详细的说明可以查阅Ollama的GitHub仓库：

https://github.com/ollama/ollama

下面是精简的操作流程

Step1：下载 Ollama

下载并安装Ollama：https://ollama.com/download

Step2：验证安装是否成功

打开命令行并输入 ollama，若如图所示，则代表安装成功

Step3：拉取模型

到Ollama官网搜索deepseek，链接地址如下：

https://ollama.com/search?q=deepseek-r1

点击进入后找到适合自己设备的大模型

复制拉取命令

Step4：部署模型

拉取通用的开源大语言模型 deepseek-r1，进入命令行并执行以下命令，这一步可能会很慢，若过程中出现错误，重新拉取即可

ollama run deepseek-r1:8b

<若只想通过Ollama使用deepseek进行简单问答，则无需继续下面的操作>

三、下载搭建本地知识库的AnythingLLM

Step1：下载安装AnythingLLM

下载地址如下：

https://anythingllm.com/desktop

AnythingLLM 简介 AnythingLLM 提供了适用于MacOs、Windows 和 Linux的安装包，可直接下载安装。是一款开箱即用的一体化 AI 应用，支持 RAG(检索增强生成)、AI代理等功能。它无需编写代码或处理复杂的基础设施问题，适合快速搭建私有知识库和智能问答系统。 <主要特性> (1)多种部署方式:支持云端、本地和自托管部署 ; (2)多用户协作:支持团队协作，适用于企业知识管理和客户支持; (3)多模型支持:兼容OpenAl、Anthropic、LocalAl等主流大模型; (4)多向量数据库支持:支持 Pinecone、Weaviate 等向量数据库; (5)多文件格式处理:支持 PDF、TXT、DOCX 等文件格式; (6)实时网络搜索:结合 LLM响应缓存与对话标记功能; (7)提供高效的文档管理和智能问答能力。

Step2：配置AnythingLLM

下面是AnythingLLM的启动界面，初次启动时直接点下一步即可

如下图便是启动后的页面，左上角“新工作区”可以按类别新建工作区，可以按照不同的需求创建分类；左下角点击小扳手可进行设置；右侧便是自动生成的演示样例

Step3：配置大模型

Step4：配置向量数据库

Step5：安装nomic

该模型为文本嵌入模型，导入本地文件时需要用到

（1）在Ollama官网搜索nomic-embed-text

地址如下：

https://ollama.com/search?q=nomic

（2）复制安装命令

（3）拉取nomic

进入命令行，并执行上一步复制的命令即可

（4）拉取完成后重启AnythingLLM，并点击小扳手进入配置页面

Step6：配置Embedder首选项

此时Embeddings变起到作用了，它的作用是将自然语言转换成机器可以理解的语言，实现查询上传的文件中与你的问题所相关的内容

Step7：上传本地文件

鼠标移到工作区上，并点击上传按钮

点击如下图的蓝色区域，在弹出窗中选择需要分析的文件

①选中上传的文件

点击②将选中的文件移到工作区内

点击如下图的按钮

点击如下图的按钮进行文件选用

Step8：完成

此时，关闭文件上传页面，点击所用的工作区，即可直接问文件相关的问题了，例如：总结一下XX文件中A产品的特点...