前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >简单两步将Lllama、Qwen等开源大模型安装到自己的电脑上

简单两步将Lllama、Qwen等开源大模型安装到自己的电脑上

作者头像
AIGC部落
发布2024-06-24 18:44:17
1520
发布2024-06-24 18:44:17
举报
文章被收录于专栏:Dance with GenAIDance with GenAI

现在已经有非常多优秀的开源大语言模型了,比如Command R+、Mistral、Qwen、MiniMax、Baichuan、Phi3等,其中Lllama3和Qwen等已经和GPT4的性能比较接近了。

如果能把这些免费的开源大模型部署到本地电脑或手机上,可以完全自由的使用,而且数据安全性有保障,可以节省大量成本。对于高手而言,还可以对这些大模型进行微调等深度定制,来满足个性化需求。

将大模型安装部署到电脑上也非常方便,简单两步即可:

第一步:下载安装Ollama软件https://ollama.com/download

安装完成后,在电脑上打开命令提示符,并输入ollama serve来启动Ollama服务:

然后输入命令:ollama pull phi3,这是来下载微软的Phi-3模型:

下载完成后,输入命令:ollama run phi3,这时候 phi3大模型就运行成功了:

但是,这样在命令行界面下对话,非常不方便。接下来安装一个图形界面,然后和大模型的对话就和ChatGPT对话一样了。

第二步:安装图形界面chatbox https://chatboxai.app/zh

点击打开chatbox,设置中AI模型提供方选择olllam

API域名是http://localhost:11434,系统已经默认填好了,模型选择刚才安装的phi3

Ok,接下来就可以畅快的和phi3模型聊天了:

Ollama支持的开源模型是非常多的,具体可以在官网进行查看:

比如如果想安装阿里巴巴的qwen大模型,可以在命令行中输入:

ollama run qwen:7b

安装llama3:

ollama run llama3

安装Llama 2 对话中文微调参数模型:

ollama run llama2-chinese

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2024-05-08,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Dance with GenAI 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档