最近 DeepSeek 大模型 AI 火遍全网,我也忍不住去了解了一番。尝试在本地部署后,发现整个过程非常简单,于是决定记录下来,分享给大家。本文将以最基础的方式演示如何部署,无需使用 Docker 容器,也不需要“魔法上网”,即使是计算机小白也能按照步骤轻松完成。
CMD
)比如我的是:OllamaSetup.exe /DIR=D:\MyApp\Ollama
输入:ollama -v
有版本号就说明安装好了,在任务栏右下角有个羊驼的图标。
这里是选择DeepSeek蒸馏后的密集模型,注意这里的模型要根据自己的电脑性能来下载,如果资源不足,下载了也会跑不起来,我这里我选择的是第一个最小的模型。数字越大,代表参数越多,所需资源也越多,1.5b=15亿参数,其他自己换算下,对应的资源和模型我放个图,大家自己对应下。
Full Model
Model | Parameters (B) | VRAM Requirement (GB) | Recommended GPU |
---|---|---|---|
DeepSeek-R1-Zero | 671B | ~1,543 GB | Multi-GPU setup (e.g., NVIDIA A100 80GB x16) |
DeepSeek-R1 | 671B | ~1,543 GB | Multi-GPU setup (e.g., NVIDIA A100 80GB x16) |
DeepSeek-R1-Distill-Qwen-1.5B | 1.5B | ~3.9 GB | NVIDIA RTX 3060 12GB or higher |
DeepSeek-R1-Distill-Qwen-7B | 7B | ~18 GB | NVIDIA RTX 4090 24GB or higher |
DeepSeek-R1-Distill-Llama-8B | 8B | ~21 GB | NVIDIA RTX 4090 24GB or higher |
DeepSeek-R1-Distill-Qwen-14B | 14B | ~36 GB | Multi-GPU setup (e.g., NVIDIA RTX 4090 x2) |
DeepSeek-R1-Distill-Qwen-32B | 32B | ~82 GB | Multi-GPU setup (e.g., NVIDIA RTX 4090 x4) |
DeepSeek-R1-Distill-Llama-70B | 70B | ~181 GB | Multi-GPU setup (e.g., NVIDIA A100 80GB x3) |
Quantized Models
Model | Parameters (B) | VRAM Requirement (GB) (4-bit) | Recommended GPU |
---|---|---|---|
DeepSeek-R1-Zero | 671B | ~436 GB | Multi-GPU setup (e.g., NVIDIA A100 80GB x6) |
DeepSeek-R1 | 671B | ~436 GB | Multi-GPU setup (e.g., NVIDIA A100 80GB x6) |
DeepSeek-R1-Distill-Qwen-1.5B | 1.5B | ~1 GB | NVIDIA RTX 3050 8GB or higher |
DeepSeek-R1-Distill-Qwen-7B | 7B | ~4.5 GB | NVIDIA RTX 3060 12GB or higher |
DeepSeek-R1-Distill-Llama-8B | 8B | ~5 GB | NVIDIA RTX 3060 12GB or higher |
DeepSeek-R1-Distill-Qwen-14B | 14B | ~9 GB | NVIDIA RTX 4080 16GB or higher |
DeepSeek-R1-Distill-Qwen-32B | 32B | ~21GB | NVIDIA RTX 4090 24GB or higher |
DeepSeek-R1-Distill-Llama-70B | 70B | ~46 GB | Multi-GPU setup (e.g. NVIDIA RTX 4090 24GB x2) |
粘贴到命令窗回车执行,下载过程中可能会遇到报错,就重复再粘贴一次下载命令然后再回车执行。有时网络不稳定是会这样,多试几次就可以。
ollama run deepseek-r1:1.5b
但是这样在CMD窗口使用很不方便和美观,接下来我们就会用到ChatBox接入大模型了。
http://localhost:11434
)。到这里就完成全部本地化部署了。
如果你不小心下载了与电脑资源不匹配的大模型(例如显存或内存不足导致无法运行),可以通过以下步骤删除不需要的模型资源包。
deepseek-r1:1.5b
)。ollama rm <模型资源包名称>
ollama list
确认模型是否已成功移除。原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。