手把手教你使用Ollama+DeepSeek+AnythingLLM构建自己的大模型（带全套软件下载）

0 引言

春节前，DeepSeek的风潮，影响着各行各业。我在公众号上转发了一篇关于在个人电脑中基于DeepSeek构建自己大模型的文章，引起了不少人的关注。有人也布置的作业，让我也实现一下。趁着春节长假，在磕磕碰碰中也算基本实现了。

主要内容简介：

（1）为什么要自己建大模型？可以给大模型学习你自己的资料，使得大模型更加的懂你。

（2）为什么选择DeepSeek？选择DeepSeek不仅因为他的强大，更因为他开源。

（3）Ollama，DeepSeek，AnythingLLM之间什么关系？ollama是大模型的管理工具，DeepSeek是大模型，AnythingLLM是编辑和操作大模型的工具。

1 为什么要构建自己的大模型？（必要性分析）

很多小伙伴很纳闷，DeepSeek可以直接使用，不收费也没有墙，为什么要自己构建？除了理工男获得些许动手的快感外，我想有以下的用处：

（1）了解模型推理的过程，可以尽可能避免大模型胡说八道。自己构建模型，在回答的时候，可以给出一个推理的链条，你可以跟踪关键的链条，一定程度可以避免模型推理上的错误。

（2）个性化定制和数据安全。大模型的训练过程，无法了解用户的一些私有的数据。但是你将数据上传到网络，可能导致数据的泄露，因此，自己建一个私有的模型，可以在保证数据安全的基础上进行个性化的定制。

（3）为了某些不联网的应用场合。在某些工业和内部网络，并不是适合和互联网相连，构建自己的大模型，也可以解决不联网的用户的大模型使用的问题。

2 如何一步一步构建自己的大模型？（基本方法）

（1） 服务器的准备

DeepSeek对机器的要求还是比较高的，虽然很多人在自己的电脑上也实现了7B甚至更高的模型的运行，但是我自己的笔记本实在没有办法完成。因此，我选择租用网络服务器。

星海智算-GPU算力云平台：https://gpu.spacehpc.com/dashboard。需要的小伙伴可以输入邀请码：49071423

我租用的机器配置是：

租用的机器配置

另外，星海也提供已经配置好的各类大模型镜像，可以开箱即用。

租用的Windows服务器使用较为简单，通过远程桌面连接后，操作方式与本地电脑相同。

Tips：在使用前，可以把要用的资料先上传到星海的网盘，这样可以省不少的时间，毕竟时间就是金钱。

（2） ollama的安装与配置

ollama的安装在网上很多的教程，下载地址为：Download Ollama on macOS：https://ollama.com/download

但是因为特别的原因，我没有办法下载。我使用已经下载好的文件，安装过程无需配置，连地址也是在C盘。

安装界面

安装完成后，直接运行，右下角将出现可爱的小驼羊图标。

安装完成

这时你可以验证是否安装成功，在CMD中运行“ollama -v”，如果出现下图。

验证安装情况

Ollama 服务器默认只允许来自127.0.0.1的跨域请求，如果计划在其他前端面板中调用Ollama API，例如Chatbox或AnythingLLM，则需要放开跨域限制。放开跨域限制要配置下面两个环境变量：

OLLAMA_HOST：0.0.0.0

OLLAMA_ORIGINS：*

在右下角点击Qiut Ollama，然后配置环境变量，便于其他的程序访问Ollama。

具体方法是在环境变量中的用户变量增加两个变量（如何配置环境变量，请问大模型）：

配置环境变量

Ollama默认开机启动，可以在「文件资源管理器」的地址栏中：输入%APPDATA%\Microsoft\Windows\Start Menu\Programs\Startup，然后删除其中的Ollama.lnk快捷方式文件，阻止它自动启动。

到此为止，ollama就配置完成。

（3） DeepSeek的模型拉取

登录下面的网页：deepseek-r1：

https://ollama.com/library/deepseek-r1

deepseek-r1网站

根据自己机器的性能，选择不同规模的模型。

DeepSeek不同规模模型需求

本来想试试32b和14b的，但是两次尝试都是中途中断。最后安装的是7b。

安装过程

在CMD运行：ollama run deepseek-r1:7b，当出现success时，就说明成功了。

安装完成

成功后，便可以对话了。以上，DeepSeek就完成安装。

（4） AnythingLLM的安装与配置

上面安装的DeepSeek有两个缺点，一是在CMD里运行不是太美观和方便，另外一个是没有办法加入自己的资料，让模型更懂你。

AnythingLLM便可以解决上述两个问题。AnythingLLM 是一个能在本地设备上运行的智能工具，能够保护你的隐私。它可以处理多种文档格式，比如 PDF、TXT 和 DOCX，并且能够快速总结内容和提取重要信息。你可以通过它自动化一些任务，比如抓取内容或分析文档。它支持 Windows、Mac 和 Linux 系统，而且提供 Docker 安装方式，适应不同平台的需求。内置的向量数据库能帮助高效检索文档中的关键信息。总的来说，它是一个强大且安全的文档管理与 AI 助手工具。

AnythingLLM同样无法访问，我们同样使用已下载的文件进行安装，文件也放在网盘中。但是其使用文档网页可以访问：Ollama LLM ~ AnythingLLM：

https://docs.anythingllm.com/setup/llm-configuration/local/ollama

AnythingLLM的安装与普通程序安装相似，但可能需要较长时间，因为它会尝试下载一些模型，最终如果下载失败，会报错，但不影响我们使用。

安装报错，但不影响使用

安装完成后，运行出现如下界面：

欢迎界面

初次运行，会引导你配置一些内容：选择Ollama,然后在Ollama Model选择你安装的模型。这些内容在软件进去后还可以设置。

初始设置

进入软件后，进一步设置，主要包括：LLM首选项和Enbedder首选项，按照下面的界面设置。

LLM首选项

Enbedder首选项

设置完成后，点击新建工作区，在聊天设置中选择Ollama作为LLM提供者，然后就可以愉快地聊天了。

聊天界面

从聊天框中，可以看出模型的推理过程，这里的聊天内容和通过CMD聊天没有区别，下面我们加入我们自己的知识。

点击工作区旁边带箭头的图标上传自己的资料，出现以下窗口。

上传文件界面

上传文件后，选中文件，点击Move to Workspace 将文件加入到模型中，你在对应的工作区聊天就可以使用自己的知识了。

增加文件到工作区

我通过大模型生成一个虚拟的单位的电话表，内容如下：

模拟数据

提交前，模型无法提供相关信息。提交相关文件后，我询问模型关于大旺公司总经理的电话，模型能正确回答。

根据本地模型回答问题

3 怎么使用好本地大模型？（应用展望）

上面详细的介绍了本地大模型的构建，总体来说并不复杂，而且目前也有很多的介绍的文章，我上面的工作也是参考了很多文章。构建本地大模型关键在如何构建自己的知识库。关于本地大模型的重点应该放在如何构建自己的知识库上，我有如下设想：

（1）学习管理的本地大模型。类似老师的学情分析和学生的错题本。

（2）设备使用的本地大模型。让模型学习复杂设备的使用说明，故障处理，让本地大模型成为工程师的助手。

（3）个人资料库的大模型。将自己的所有的文档资料给大模型，当要找某份资料，或是某个文件、数据时，可以通过模型查找文件，是增强版的Everything本地搜索软件。

……

还有哪些应用，欢迎留言