这几天在弄老照片修复的工作流,正巧它需要通过Ollama安装大模型到电脑上,整个过程给大家重新温习一遍,在此做个记录。如果你的电脑配置还不错的话,也可以装一个。
一、Ollama安装
Ollama安装完之后并没有大模型可以用,它只是一个容器。作为一个开源框架,它是专门为本地机器上部署大语言模型而设置的。
1、下载
它提供了macOS、Linux、Windows三个平台的安装包。
安装过程非常简单,直接按提示点击下一步即可。
2、下载大模型
完成之后,你可以用任意方式打开一个命令提示栏,在其中输入相关下载命令。
命令如何找呢?此处仍然需要在Ollama网站的library中寻找你想要的大模型。
我之前下载了通义千问2.5:7b和llava两个模型。7b那里可以重新选择,根据你电脑的性能挑选,选择完毕后,点击箭头所指的复制按钮即可复制命令,如:ollama run qwen2.5
直接将这段命令复制到命令提示行中,回车即可自动下载。
模型下载目录为:C:\Users\admin\ .ollama,如果你不想下载到C盘,可以通过设置环境变量来改变
也可以通过命令行直接修改:
setx OLLAMA_MODELS "E:\Ollama"
修改完毕之后,需要重启ollama服务。
安装完成之后,就可以随便问问题啦!
3、关闭了咋办?
刚开始我关闭了命令提示行的对话框,结果不知道如何重新启动?
后来,仍然是按照安装时的命令重新输入的,才把它唤起。
另一种是使用Chatbox AI作为一个媒介来使用大模型,此种方法只需要安装Chat box,比较简单实用。
Chatbox AI:https://chatboxai.app/zh首次打开它会提示你,对模型进行配置。直接选中Ollama即可。如果你有API或者其他的大模型,也可以按需选择。
箭头所指的位置可以快速切换模型。
二、结语
一些不常用的操作安装,随时记录下来,以备后用。也希望这些过程能为大家解决同样的问题。
注意:了解大模型对硬件的需求,保持网络畅通,根据实际情况选择大模型。
我的飞书文档正在不断更新中,其中有很多大家日常要用到的资源,包括AI提示词、AI绘画提示词、影视资源以及很多无法分享的内容等。小伙伴们进群领取地址啦!
领取专属 10元无门槛券
私享最新 技术干货