今天我就介绍几种常见的, 方便的私有化大模型的方式, 这些方式都是开源或免费的.
私有化部署方式
Ollama
要说私有化部署大模型最方便的方式, 我认为非Ollama莫属了....相较于其它一些方式, 有一定的编程或技术上的门槛, Ollama可以说是把本地部署大模型这个以前有点技术含量或难度的事情完全傻瓜化了....如果仅仅是要部署一个本地大模型, 没有比Ollama更简单方便的方式了.
VLLM
Vllm是一个python类库, 在知道与了解Ollama之前, 最开始我都是基于VLLM来部署类似的开源大模型....如果你想编程式的部署与使用一些开源的大模型, 那使用Hugging Face提供的类库, 当前几乎是唯一的选择.
GPTAll
和前面几种方式不同的在于, GPTAll是一个有UI的AI应用程序....而且它也有开源的WEB UI或一些软件UI支持. 其它几种方式你也可以按需选择.