Ollama：在你的PC上轻松运行 Llama 3 和其他大模型

本地部署真香，Ollama

LLama 简介

Llama 我想大家都不陌生了，是 meta 开源的一款大模型，Llama3开源不到一个月的时间就有 19.7K 的 star，其火热程度可见一班。

我们今天的要介绍的 ollama 就是为了快速部署 Llama 大模型而诞生的，在一台普通的 PC 上只需要傻瓜式安装软件即可轻松使用本地大模型 Llama 3。

Llama 3 star

ollama 简介

Ollama 是一款强大的工具，用于本地部署和管理大型语言模型（LLM），如 Llama 3、Mistral、Gemma 等。它提供了用户友好的界面和简单的命令，使其可供从业余爱好者到开发者的广泛用户群体使用。

Ollama 不仅支持多种模型本地部署，还支持多平台，无论是 window、mac、linux都轻松拿下。

ollama 支持多模型

ollama 多平台支持

安装及使用 Ollama

安装：

• 首先，你需要从官网下载 Ollama CLI。这个过程很直接，可以通过访问 ollama.ai/download 来完成。
• 下载后，你可以打开终端并根据你的操作系统的具体安装说明来安装它。

运行模型：

• 要运行像 Llama 3 或 Mistral 这样的模型，你可以通过使用命令 ollama pull [模型名] 来开始。例如，ollama pull llama3 会下载 Llama 3 模型。第一次下载模型需要漫长的等待⌛️，喝杯咖啡～

ollama pull llama3

• 支持的模型列表

支持的模型列表，llama3，phi,Gemme

• 然后你可以使用命令 ollama run [模型名] 以交互方式运行模型或执行特定任务。例如，ollama run llama3 将启动与 Lamma 3 模型的交互式会话。

llama3 对话

穿上漂亮的衣服

如果你不喜欢命令行界面，Ollama提供了包括网页、桌面应用和终端界面在内的多种互动方式，还有众多插件和扩展功能。

Ollama能迅速发展出这样丰富的生态系统，源于项目伊始就非常明确的目标：以最简单快速的方式在本地运行大型模型。因此，Ollama不仅仅是封装了llama.cpp，而是将复杂的参数和相应模型整合打包，形成了一个既简洁的命令行工具，又稳定的服务端API，极大地便利了后续的应用开发和功能扩展。

**Web 版：具有最接近 ChatGPT 的界面和最丰富的功能特性，需要以 Docker 部署；

https://github.com/open-webui/open-webui

web&desktop

总结

"ollama" 是一个为快速部署和运行大型语言模型（如 Llama 3）而设计的工具，它允许用户在个人电脑上通过简单的命令行界面或其他用户友好的互动方式来使用这些模型。Ollama 支持多平台，包括 Windows、Mac 和 Linux，适用于从业余爱好者到专业开发者的广泛用户群体。通过提供简洁的命令行工具和稳定的服务端API，Ollama 不仅简化了大模型的本地部署过程，还通过多样化的界面和功能扩展，丰富了用户的互动体验。总体来说，Ollama 是一个强大而灵活的工具，旨在让大型模型的部署和管理变得更加便捷和高效。