部署DeepSeek模型,进群交流最in玩法!
立即加群
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >在本地电脑部署自己的 DeepSeek 大模型 AI:小白也能轻松上手

在本地电脑部署自己的 DeepSeek 大模型 AI:小白也能轻松上手

原创
作者头像
后端码匠
发布2025-02-06 14:44:35
发布2025-02-06 14:44:35
3.3K0
举报

在本地电脑部署自己的 DeepSeek 大模型 AI:小白也能轻松上手

最近 DeepSeek 大模型 AI 火遍全网,我也忍不住去了解了一番。尝试在本地部署后,发现整个过程非常简单,于是决定记录下来,分享给大家。本文将以最基础的方式演示如何部署,无需使用 Docker 容器,也不需要“魔法上网”,即使是计算机小白也能按照步骤轻松完成。

本地化部署的优势

  1. 无需排队,响应迅速:本地部署后,无需等待服务器响应,直接享受高速交互体验。
  2. 隐私性更强:所有数据都在本地运行,无需担心隐私泄露或被第三方收集。
  3. 自由定制模型:可以自由投喂训练数据,打造专属于自己的个性化大模型。

准备工具

  1. Ollama
    • 用途:简化大型语言模型(LLM)的本地部署和使用,支持同时运行多个大模型。
    • 简单来说,它就像一个“容器”,让开发者能够轻松在本地环境中测试和运行不同的语言模型。
    • 官网地址:https://ollama.com/
  2. ChatBox AI
    • 用途:一款用于接入各种大模型的客户端,提供美观且便捷的用户界面,让使用大模型 AI 变得更加简单高效。
    • 官网地址:https://chatboxai.app/zh

第一步:下载并安装 Ollama

  1. 访问 Ollama 官网:https://ollama.com/
  2. 点击页面上的 Download 按钮,下载适合你操作系统的安装包。
  3. 按照提示完成安装。

第二步:安装 Ollama 并配置存储路径

  1. 安装 Ollama 下载完成后,双击安装包开始安装。需要注意的是,Ollama 默认会将程序和大模型数据包安装在 C 盘。因此,在安装前请确保你的 C 盘有足够的存储空间(通常需要预留 10GB 以上的空间)。
  2. 更改安装路径(可选) 如果你希望将 Ollama 安装到其他磁盘可按照下面方式进行安装。 手动创建Ollama安装目录,首先在你想安装的路径下创建好一个新文件夹,并把Ollama的安装包放在里面。(OllamaSetup.exe同级目录CMD)比如我的是:OllamaSetup.exe /DIR=D:\MyApp\Ollama
  3. 完成安装并启动 点击 Install 后,Ollama 会自动开始安装。安装完成后,Ollama 会默认启动并运行在后台,你可以通过系统托盘或任务管理器确认其运行状态。

输入:ollama -v 有版本号就说明安装好了,在任务栏右下角有个羊驼的图标。

第三步:下载 DeepSeek R1 模型

  1. 访问 Ollama 官网 打开浏览器,进入 Ollama 官网:https://ollama.com/
  2. 选择模型 在官网页面中,点击顶部导航栏的 Models 选项,进入模型列表页面。
  3. 找到 DeepSeek R1 模型 在模型列表中,找到 DeepSeek R1 模型(可以通过搜索功能快速定位)。
  4. 下载模型 点击 DeepSeek R1 模型,进入详情页面后,按照提示下载模型。Ollama 会自动将模型下载到默认的存储路径(通常是 C 盘)。
  5. 验证下载 下载完成后,Ollama 会自动加载模型。你可以通过命令行或 Ollama 的日志文件确认模型是否成功加载。

这里是选择DeepSeek蒸馏后的密集模型,注意这里的模型要根据自己的电脑性能来下载,如果资源不足,下载了也会跑不起来,我这里我选择的是第一个最小的模型。数字越大,代表参数越多,所需资源也越多,1.5b=15亿参数,其他自己换算下,对应的资源和模型我放个图,大家自己对应下。

Full Model

Model

Parameters (B)

VRAM Requirement (GB)

Recommended GPU

DeepSeek-R1-Zero

671B

~1,543 GB

Multi-GPU setup (e.g., NVIDIA A100 80GB x16)

DeepSeek-R1

671B

~1,543 GB

Multi-GPU setup (e.g., NVIDIA A100 80GB x16)

DeepSeek-R1-Distill-Qwen-1.5B

1.5B

~3.9 GB

NVIDIA RTX 3060 12GB or higher

DeepSeek-R1-Distill-Qwen-7B

7B

~18 GB

NVIDIA RTX 4090 24GB or higher

DeepSeek-R1-Distill-Llama-8B

8B

~21 GB

NVIDIA RTX 4090 24GB or higher

DeepSeek-R1-Distill-Qwen-14B

14B

~36 GB

Multi-GPU setup (e.g., NVIDIA RTX 4090 x2)

DeepSeek-R1-Distill-Qwen-32B

32B

~82 GB

Multi-GPU setup (e.g., NVIDIA RTX 4090 x4)

DeepSeek-R1-Distill-Llama-70B

70B

~181 GB

Multi-GPU setup (e.g., NVIDIA A100 80GB x3)

Quantized Models

Model

Parameters (B)

VRAM Requirement (GB) (4-bit)

Recommended GPU

DeepSeek-R1-Zero

671B

~436 GB

Multi-GPU setup (e.g., NVIDIA A100 80GB x6)

DeepSeek-R1

671B

~436 GB

Multi-GPU setup (e.g., NVIDIA A100 80GB x6)

DeepSeek-R1-Distill-Qwen-1.5B

1.5B

~1 GB

NVIDIA RTX 3050 8GB or higher

DeepSeek-R1-Distill-Qwen-7B

7B

~4.5 GB

NVIDIA RTX 3060 12GB or higher

DeepSeek-R1-Distill-Llama-8B

8B

~5 GB

NVIDIA RTX 3060 12GB or higher

DeepSeek-R1-Distill-Qwen-14B

14B

~9 GB

NVIDIA RTX 4080 16GB or higher

DeepSeek-R1-Distill-Qwen-32B

32B

~21GB

NVIDIA RTX 4090 24GB or higher

DeepSeek-R1-Distill-Llama-70B

70B

~46 GB

Multi-GPU setup (e.g. NVIDIA RTX 4090 24GB x2)

粘贴到命令窗回车执行,下载过程中可能会遇到报错,就重复再粘贴一次下载命令然后再回车执行。有时网络不稳定是会这样,多试几次就可以。

代码语言:bash
复制
ollama run deepseek-r1:1.5b

但是这样在CMD窗口使用很不方便和美观,接下来我们就会用到ChatBox接入大模型了。

第四步:安装 ChatBox AI 并接入 DeepSeek 模型

  1. 下载 ChatBox AI 访问 ChatBox AI 官网:https://chatboxai.app/zh,选择适合你操作系统的客户端版本进行下载。如果你更喜欢轻量化的方式,也可以直接使用网页版。
  2. 安装 ChatBox AI 下载完成后,双击安装包,按照提示完成安装。安装过程非常简单,只需点击“下一步”即可完成。
  3. 启动 ChatBox AI 安装完成后,启动 ChatBox AI。首次启动时,你会看到一个简洁的用户界面。
  4. 配置 Ollama 连接
    • 在 ChatBox AI 中,找到 设置模型配置 选项。
    • 选择 自定义模型本地模型,然后输入 Ollama 的本地 API 地址(通常是 http://localhost:11434)。
    • 在模型列表中,选择 DeepSeek R1 作为默认模型。
  5. 测试连接
    • 在 ChatBox AI 的输入框中输入问题或指令,例如:“你好,介绍一下你自己。”
    • 如果配置正确,ChatBox AI 会通过 Ollama 调用 DeepSeek R1 模型并返回响应。

到这里就完成全部本地化部署了。

第五步:删除大模型资源包

如果你不小心下载了与电脑资源不匹配的大模型(例如显存或内存不足导致无法运行),可以通过以下步骤删除不需要的模型资源包。

  1. 查看已安装的模型 打开命令提示符(CMD)或终端,输入以下命令:ollama list这会显示你当前安装的所有大模型资源包及其名称。
  2. 复制模型名称 从列表中找到需要删除的模型名称(例如 deepseek-r1:1.5b)。
  3. 删除模型资源包 输入以下命令删除指定模型:ollama rm deepseek-r1:1.5b语法ollama rm <模型资源包名称>
  4. 确认删除 删除完成后,可以再次运行 ollama list 确认模型是否已成功移除。

注意事项:

  • 删除模型后,释放的存储空间可以用于下载更适合你电脑配置的模型。
  • 如果你不确定某个模型是否适合你的设备,可以先查看模型的资源要求(如显存、内存等),再决定是否下载。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 在本地电脑部署自己的 DeepSeek 大模型 AI:小白也能轻松上手
    • 本地化部署的优势
    • 准备工具
      • 第一步:下载并安装 Ollama
      • 第二步:安装 Ollama 并配置存储路径
      • 第三步:下载 DeepSeek R1 模型
      • 第四步:安装 ChatBox AI 并接入 DeepSeek 模型
      • 第五步:删除大模型资源包
      • 注意事项:
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档