用 Ollama 打造你的本地 AI 小助手：LLaMA / Mistral 部署全流程

💡 引言：为什么选 Ollama + Open WebUI？

在众多本地部署方式中，Ollama 的优势非常明显：

• ✅ 一行命令拉模型，开箱即用；
• ✅ 支持 CPU / GPU，适配能力强；
• ✅ 自带微调能力，支持 GGUF、LLaMA、Mistral 多种模型格式。

而搭配 Open WebUI，你可以获得近似 ChatGPT 的 Web 聊天界面👇：

⏳ 摘要：

最近后台收到很多小伙伴留言问：有没有什么方法可以“离线、本地、不联网”用上类 ChatGPT 的对话能力？🌟 答案当然是：有！用 Ollama + Open WebUI，让你几分钟内在本地跑起来像 ChatGPT 一样的模型，不香吗？

不过部署过程中坑是真的不少，比如：

• 模型拉不下来？
• 显卡不支持？
• 启动就是一堆奇怪的报错？

别慌~这篇文章我会一条条带你踩坑、再把坑填好 🧩 看完就能把 Ollama 和 Open WebUI 的部署思路 + 报错处理方式 全！都！拿！下！

🛠 正文内容

1️⃣ 安装准备篇

✅ 系统要求 & 环境准备

⚠️ 小心：Ollama 虽然支持 CPU，但加载大型模型时速度会非常慢哦 🐌，建议优先尝试 GPU！

📦 安装 Ollama

# macOS 安装
brew install ollama

# Windows / Linux 可参考官网安装包
# https://ollama.com

启动服务：

ollama serve

拉模型试试看：

ollama run llama2

👉 成功后你就能和模型开始聊天了 🎉！

🧰 安装 Open WebUI（推荐 Docker）

docker run -d \
  --name open-webui \
  -p 3000:3000 \
  -e OLLAMA_API_BASE_URL=http://<你的本地IP>:11434 \
  ghcr.io/open-webui/open-webui:main

访问 http://localhost:3000 即可开始使用 ✨

⚠️ 小心：确保 Docker 网络可以访问 Ollama 的服务端口 11434！

2️⃣ 模型部署篇

🎯 支持的主流模型

使用命令：

ollama run mistral
ollama run llama2

3️⃣ 常见报错 ⚠️ 与解决方案 ✅

❌ 报错：Failed to pull model: connection reset by peer

原因： 网络问题，模型下载失败 🚫 解决方案：

• ✅ 使用访问国外网站代理工具
• ✅ Ollama 支持代理环境变量：

export HTTP_PROXY=http://127.0.0.1:7890
export HTTPS_PROXY=http://127.0.0.1:7890

⚠️ 小心：部分企业/校园网络可能会直接拦截端口请求！

❌ 报错：No module named llama_cpp

原因： Open WebUI 使用 llama.cpp 接口，但未正确安装 Python 依赖 解决方案：

pip install llama-cpp-python

❌ 报错：推理失败，提示 GPU 显存不足

原因： 模型太大了！LLaMA 13B 建议至少 16GB 显存 解决方案：

• ✅ 使用 7B 或 3B 小模型替代
• ✅ 指定使用 CPU 模式运行：

OLLAMA_NO_CUDA=1 ollama run llama2

4️⃣ 模型优化与自定义部署 🚀

🔧 使用 Ollama 创建自定义模型

ollama create my-model -f Modelfile

Modelfile 示例内容：

FROM mistral
SYSTEM "You are a helpful assistant."

👉 这样就可以自定义上下文系统提示啦 🪄

💾 支持 GGUF 格式模型（兼容 llama.cpp）

GGUF 是 HuggingFace / llama.cpp 推荐的新格式，兼容性和推理速度更好。

上传模型方式请参考：https://ollama.com/library

✅ 总结：本地部署也能爽用大模型！

🎉 到这里，Ollama + Open WebUI 的本地部署流程你已经拿下啦！ 不管你是想要一个 离线版 ChatGPT，还是要把模型用到项目里，Ollama 都是一把好用的“瑞士军刀”。

📌 本地部署三大优势：

• 🌐 离线运行，隐私安全；
• 💡 灵活自定义模型，系统指令；
• 🧩 多前端适配，可集成插件系统。

📚 参考资料

• Ollama 官方文档
• Open WebUI GitHub
• LLaMA 模型介绍 - Meta AI
• Mistral 模型论文