前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Linux内网离线安装Ollama

Linux内网离线安装Ollama

作者头像
IT小马哥
发布2024-08-15 13:58:23
1K0
发布2024-08-15 13:58:23
举报
文章被收录于专栏:Java Tale

我下载的是Ollama的 0.1.49 版本,后面均以此版本为例说明

在线安装

在线安装地址https://ollama.com/download选择服务器系统,按照步骤完成安装

离线安装

查看服务器CPU的型号

代码语言:javascript
复制
## 查看Linux系统CPU型号命令,我的服务器cpu型号是x86_64
lscpu

根据CPU型号下载Ollama安装包

保存到/home/Ollama目录

下载地址 https://github.com/ollama/ollama/releases/

代码语言:javascript
复制
# x86_64 CPU选择下载ollama-linux-amd64
# aarch64|arm64 CPU选择下载ollama-linux-arm

离线下载Linux环境的Ollama安装脚本

保存到/home/Ollama目录

代码语言:javascript
复制
## 下载地址1,浏览器中打开下面地址
https://ollama.com/install.sh
## 下载地址2
https://github.com/ollama/ollama/blob/main/scripts/install.sh

修改install.sh脚本

总共需要修改两个点 Ollama下载地址和 Ollama安装包存放目录

注释下载链接
代码语言:javascript
复制
status "Downloading ollama..."
## 在install.sh的第65行
#curl --fail --show-error --location --progress-bar -o $TEMP_DIR/ollama "https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}"
修改ollama安装目录
代码语言:javascript
复制
status "Installing ollama to $BINDIR..."
$SUDO install -o0 -g0 -m755 -d $BINDIR
## 在install.sh的第73行
#$SUDO install -o0 -g0 -m755 $TEMP_DIR/ollama $BINDIR/ollama
$SUDO install -o0 -g0 -m755 ./ollama-linux-amd64  $BINDIR/ollama

运行 install.sh脚本安装

代码语言:javascript
复制
# 执行installl.sh脚本,需要sudo 权限  chmod +x install.sh
./install.sh
# 如果报错误权限不足,执行
chmod +x install.sh

运行大模型,如通义千问

代码语言:javascript
复制
# 需要先将大模型下载到OLLAMA_MODELS文件中
# ollama run <模型名称>
ollama run qwen2:7b

关闭 Ollama 服务

代码语言:javascript
复制
# 关闭ollama服务
service ollama stop

Ollama 常用命令

代码语言:javascript
复制
## 启动Ollama服务
ollama serve
## 从模型文件创建模型
ollama create
## 显示模型信息
ollama show
## 运行模型
ollama run 模型名称
## 从注册表中拉去模型
ollama pull 模型名称
## 将模型推送到注册表
ollama push
## 列出模型
ollama list
## 复制模型
ollama cp
## 删除模型
ollama rm 模型名称
## 获取有关Ollama任何命令的帮助信息
ollama help

FAQ

如何查看运行的日志?

在Linux上运行命令journalctl -u ollama,即可查看运行日志。

如何配置本地大模型对局域网提供服务?

在Linux上修改配置文件,并配置环境变量 OLLAMA_HOST 来指定对局域网提供服务的地址,再重启Ollama服务即可。

代码语言:javascript
复制
vim /etc/systemd/system/ollama.service

在[Service]下面加上:
Environment="OLLAMA_HOST=0.0.0.0:11434"

重启后,就可以通过http在局域网中访问了

下载的大模型存储在哪个路径?

默认情况下,不同操作系统存储的路径如下:

代码语言:javascript
复制
macOS: ~/.ollama/models
Linux: /usr/share/ollama/.ollama/models
Windows: C:\Users<username>.ollama\models 

本文由 小马哥 创作,采用 知识共享署名4.0 国际许可协议进行许可 本站文章除注明转载/出处外,均为本站原创或翻译,转载前请务必署名

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2024-07-08,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 在线安装
  • 离线安装
    • 查看服务器CPU的型号
      • 根据CPU型号下载Ollama安装包
        • 离线下载Linux环境的Ollama安装脚本
          • 修改install.sh脚本
            • 注释下载链接
            • 修改ollama安装目录
          • 运行 install.sh脚本安装
            • 运行大模型,如通义千问
              • 关闭 Ollama 服务
              • Ollama 常用命令
              • FAQ
                • 如何查看运行的日志?
                  • 如何配置本地大模型对局域网提供服务?
                    • 下载的大模型存储在哪个路径?
                    相关产品与服务
                    云服务器
                    云服务器(Cloud Virtual Machine,CVM)提供安全可靠的弹性计算服务。 您可以实时扩展或缩减计算资源,适应变化的业务需求,并只需按实际使用的资源计费。使用 CVM 可以极大降低您的软硬件采购成本,简化 IT 运维工作。
                    领券
                    问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档