deepseek本地安装和使用 Ollama 详细指南

本地安装和使用 Ollama 指南

Ollama 是一款强大的开源工具，旨在简化在本地计算机上运行和管理大型语言模型（LLM）的过程。它使用户能够轻松下载、管理和运行各种 AI 模型，例如 LLaMA、Mistral 等，而无需复杂的配置或依赖云服务。

一、安装 Ollama

1. 下载 Ollama

访问 Ollama 官方网站：https://ollama.ai/

根据您的操作系统（Windows、macOS 或 Linux）下载相应的安装包。

2. 设置大语言模型下载目录

Ollama 默认将模型存储在用户目录下的.ollama文件夹中。为了更好地管理模型，您可以自定义存储目录：

在 Windows 上：

打开“系统属性”：右键点击“此电脑”或“我的电脑”，选择“属性”。

点击“高级系统设置”，然后点击“环境变量”。

在“系统变量”部分，点击“新建”：

变量名：OLLAMA_MODELS

变量值：E:\path\to\your\custom\directory（替换为您希望保存模型的目录路径）

点击“确定”保存更改。

重启 PowerShell 或命令提示符，使更改生效。

在 macOS 或 Linux 上：

打开终端。

编辑您的 shell 配置文件（例如~/.bashrc、~/.zshrc或~/.profile）。

添加以下行，将/path/to/your/custom/directory替换为您希望保存模型的目录路径：

export OLLAMA_MODELS="/path/to/your/custom/directory"

保存文件并运行source ~/.bashrc、source ~/.zshrc或source ~/.profile使更改生效。

3. 安装大语言模型

Ollama 提供了多种方式来安装大语言模型：

直接从 Ollama Hub 下载：

ollama pull <model_name>

例如，要下载 LLaMA 2 模型，可以运行：

ollama pull llama2

手动导入模型：

如果您已经下载了模型文件（例如 GGML、GGUF 格式），可以按照以下步骤手动导入：

准备模型文件：确保模型文件是 Ollama 支持的格式，并已下载到本地。

创建 Modelfile：在模型文件所在目录下创建一个名为Modelfile的文件，文件内容如下：

ounter(lineFROM <path_to_your_model_file>

将替换为您模型文件的实际路径。

导入模型：在终端中运行以下命令：

ollama create <model_name> -f <path_to_your_Modelfile>

将替换为实际的模型名称，替换为Modelfile的实际路径。

验证导入：运行ollama list命令，确认模型已出现在列表中。

二、安装 Chatbox 用户界面

1. 下载 Chatbox

访问 Chatbox 网站：https://chatboxai.app/zh

下载适合您操作系统的安装包。

2. 安装 Chatbox

运行下载的安装包，按照提示完成安装。

三、在 Chatbox 中使用 Ollama 模型

1. 启动 Chatbox

安装完成后，启动 Chatbox 应用程序。

2. 连接到 Ollama

在 Chatbox 中，进入设置或偏好设置，查找“模型”或“连接”选项。

选择 Ollama 作为模型提供商。

输入 Ollama API 的地址和端口（默认为http://localhost:11434）。

3. 选择模型

在 Chatbox 中选择您想要使用的 Ollama 模型。

4. 开始对话

现在您可以开始与 Ollama 模型进行对话了。在 Chatbox 的聊天界面中输入您的问题或指令，模型将会生成回复。

注意事项

确保 Ollama 已安装并正常运行。

如果您使用的是手动导入的模型，请确保模型文件和 Modelfile 的路径正确。

如果遇到问题，可以参考 Ollama 和 Chatbox 的官方文档或社区论坛。

希望这些详细的步骤能帮助您成功在本地安装和使用 Ollama，并通过 Chatbox 用户界面与之交互。

还加入群聊一起交流学习大模型的使用场景！！！