超详细保姆教程：跟我学，用Ollama + Chatbox/AnythingLLm搭配DeepSeek从零搭建本地知识库

范赟鹏

发布于 2025-05-30 09:29:56

95600

代码可运行

运行总次数：0

代码可运行

前言：

如今信息繁杂，公司里行政、人事、财务等部门，天天都被大量重复问题缠得脱不开身，太耗精力。要是有个专属知识小助手随时帮忙，效率肯定猛升。咱们这套方法就能圆梦。教程简单直白，核心就是 Ollama、Chatbox 或 AnythingLLm 以及 DeepSeek 。Ollama 像个万能 “工具包”，轻松搞定模型下载，搭好运行基础。Chatbox 或 AnythingLLm 是智能 “传声筒”，员工日常一问，行政流程、人事规定、财务细则立马呈现，超方便。DeepSeek 更是 “智慧大脑”，精准淘知识，回答靠谱。学生党能用它提升学习，职场人更能借此为公司打造提效神器。不管你在行政负责日常办公协调，人事处理员工事务，还是财务管控资金账目，跟着教程一步步来，花不了多少时间，就能搭建起公共知识小助手，让工作中的难题迎刃而解，为公司发展添动力，大家赶紧动手试试吧。

本地安装和使用ollama

1. 安装ollama

Ollama 是一个开源工具，专门用于在本地计算机上运行和操作大型语言模型（LLM）。它让用户能够轻松下载、管理和运行各种 AI 模型（如 LLaMA、Mistral 等），而无需复杂的配置或依赖云服务，访问 Ollama 的官方网站（https://ollama.ai/），下载适配你操作系统的安装包。

(如果下载不了可以找我要下载安装包哦)

2. 设置大语言模型下载目录

在 Windows 上

打开“系统属性”：

右键点击“此电脑”或“我的电脑”，选择“属性”。
点击“高级系统设置”，然后点击“环境变量”。

在“系统变量”部分，点击“新建”：

变量名：OLLAMA_MODELS
变量值：E:\path\to\your\custom\directory（替换为你希望保存模型的目录路径）。

点击“确定”保存更改。重启 PowerShell 或命令提示符，使更改生效。

3. 手动在Ollama中手动导入大语言模型（推荐使用网页安装，更方便，可直接看第四部）

步骤操作：

3.1. 准备模型文件

确保模型文件是Ollama支持的格式（如GGML、GGUF等），并已下载到本地。

3.2. 创建Modelfile

在模型文件所在目录下创建一个文件命名为：Modelfile，文件内容如下： FROM E:\models\qwen2.5-7b-instruct-q4_0.gguf 将E:\models\qwen2.5-7b-instruct-q4_0.gguf替换为你模型文件的实际路径。

3.3. 导入模型

在终端中运行以下命令：

ollama create qwen2.5-7b -f E:\models\Modelfile

将qwen2.5-7b替换为实际的模型名称，E:\models\Modelfile替换为Modelfile的实际路径。

3.4. 验证导入

导入完成后，使用以下命令验证： ollama list 确认模型已出现在列表中。

3.5. 运行模型

使用以下命令运行模型：

ollama run qwen2.5-7b

将qwen2.5-7b替换为你的模型名称。

注意事项

确保Ollama已安装并正常运行。

4. 网页版安装大模型（推荐使用此方式）

访问ollama官网，左上角，选择models

选择你想要安装的模型，这里以deepseek-r1:7b为例

打开电脑cmd，在终端里输入ollama run deepseek-r1:7b，即可自动完成安装

解释下图中各种小b是什么意思，这里的“b”表示10亿（Billion），基本理解是模型中可训练参数的数量，不同的参数规模，这里以以1.5B、7B、13B为例：

假设我们用一个仓库来比喻大模型，仓库里的货物代表模型学到的知识，而参数就是用来管理这些货物的各种设备和工具。

1.5B模型

仓库规模：较小，相当于一个普通的小型仓库。
货物种类和数量：相对较少，能够处理一些常见的、较为简单的任务，比如基本的文本分类、简单的语言生成等。就好像仓库里主要存放着一些日常用品，但种类和数量有限。
管理设备（参数）：相对较少且简单，例如只有一些基本的货架和少量的搬运工具。这意味着它在处理复杂任务时能力有限，因为“工具”不够多。

7B模型

仓库规模：明显比1.5B的大，类似于一个中型仓库。
货物种类和数量：丰富了很多，能够应对更复杂多样的任务，如更精准的情感分析、复杂一些的问答系统等。相当于仓库里不仅有日常用品，还有各种专业工具、书籍等，知识储备更加丰富。
管理设备（参数）：增多且更先进，有了更多的货架来分类存放货物，还有一些自动化的搬运设备，能够更高效地管理和利用这些知识，处理任务的能力和效率都有所提升。

13B模型

仓库规模：非常大，如同一个大型的物流中心。
货物种类和数量：极其丰富，几乎涵盖了各个领域的知识，能够处理非常复杂的任务，如多语言的机器翻译、高质量的文本创作、深度的知识推理等。就像这个物流中心里储存着来自世界各地的各种货物，应有尽有。
管理设备（参数）：非常庞大和复杂，有多层的智能货架系统，配备了先进的机器人来进行货物的搬运和管理，能够快速准确地找到并运用所需的知识，在处理复杂任务时表现得更加出色。从性能和能力的角度来看，随着参数数量从1.5B增加到7B再到13B，模型的表现通常会有以下提升：
语言理解能力：对文本的理解更加深入和准确，能够捕捉到更细微的语义信息和上下文关系。例如，在阅读理解任务中，能够更准确地回答复杂的问题。
语言生成能力：生成的文本更加流畅、自然和丰富多样，质量更高。比如在创作故事、诗歌等方面，能够生成更富有创意和逻辑性的内容。
泛化能力：能够更好地适应各种不同的任务和领域，在未见过的数据上也能有较好的表现。例如，在跨领域的知识问答中，能够更准确地回答各种问题。
学习速度：在进行微调或继续训练时，可能会更快地学习到新的知识和技能，因为它有更多的参数可以进行调整和优化。但同时，随着参数规模的增大，也带来了一些挑战和问题：
计算资源需求：训练和部署这些大模型需要更强大的硬件设备，如高性能的GPU集群，这增加了计算成本和资源消耗。
训练时间：训练过程会变得非常漫长，需要耗费大量的时间和能源。
过拟合风险：可能更容易出现过拟合现象，即模型在训练数据上表现很好，但在新的数据上表现不佳，需要更精细的调优和正则化方法来避免。

本地安装chatbox用户界面

1. 本地安装chatbox

Chatbox 是一个开源的桌面应用程序，专门用于与大型语言模型（如 OpenAI 的 GPT 系列、LLaMA、Mistral 等）进行交互。它提供了一个简洁、易用的图形界面，让用户能够轻松地与 AI 模型对话，而无需编写代码或使用复杂的命令行工具。访问 Chatbox官网(https://chatboxai.app/zh)，下载适合你操作系统的安装包。

也可以不用安装chatbox,直接使用ollama,但只支持命令行方式，用chatbox配置起来更直观方便。

2. 设置chatbox

下载好后设置使用本地模型，也可以使用chatbox自带api，但都是收费的哦

我这里使用的本地模型ollama 并选择刚下载好的deepseek-r1:7b模型

3. 上传本地知识库

设置好模型后，在对话框中上传本地知识库，可以使用docx/excel/pdf等各种文件，如图（我这里上传的是关于安全规范的管理制度为例）：

向chatbox提问，测试效果（提问：有哪些会触发罚款的行为）：

本地安装anythingLLM用户界面（和chatbox安全一款即可，个人更推荐anythingLLM）

1. 安装anythingLLM

AnythingLLM 是 Mintplex Labs 开发的开源全栈应用程序，能将文档转为 LLM 聊天背景信息，支持多种闭源和开源模型、向量数据库，可本地或远程托管，有多用户管理等功能，用于高效知识管理与问答，访问anythingLLM官网（https://anythingllm.com/）下载适合你操作系统的安装包，安装比较简单，安装过程不再详细介绍了。