60块15天的t4显卡服务器 如何玩转chatgpt系列语言模型

chatgpt国产化小规模化的实现非常的多。

今天我们用腾讯云提供的60块15天的t4服务器要来实现的是chatglm。

一个清华开源的类chatgpt对话式大参数量语言模型。

首先验证一下实例的python环境，python环境验证为3.8版本python。适合当前实验。

第二验证实例的cuda环境 cuda为11.4

第三开始安装实验所需要的基础深度学习框架

pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113

向下一个版本的cuda应该可以。在后面的实验中我们会验证一次。如果cuda不支持的话，需要我们重新安装一遍cuda适配的版本，之前的实验中cuda的选择11.7、11.8都是可以跑的。

第四开始寻找哪些盘符的空间比较大

df -h

第五进入盘符空间比较大的文件夹下，通过git clone获取chatglm的代码。

git clone https://github.com/THUDM/ChatGLM-6B.git

目前看git clone的速度比较慢一些。多clone两次发现还是能clone下来的。

第六 进入目录后执行 cli_demo.py

项目会自动下载chatglm模型。