根据操作系统(macOS、Windows、Linux)从 ollama官网 下载软件。确保下载版本为 v0.1.33 或更高,以避免无限生成问题。
2. 安装 Ollama
macOS:
下载后直接拖入“应用程序”。
Windows 预览版:
下载并运行 exe 文件。
Linux:
执行以下命令:
curl -fsSL https://ollama.com/install.sh | sh
3. 创建 Modelfile 文件
首先你要到 Hugging Face 或 ModelScope 下载 GGUF 文件,然后才是下面的安装配置。
Chinese-LLaMA-Alpaca-3开源项目 ymcui/Chinese-LLaMA-Alpaca-3: 中文羊驼大模型三期项目 (Chinese Llama-3 LLMs) developed from Meta Llama 3 (github.com) 或
在文本编辑器中编写 Modelfile 文件,内容示例如下:
FROM /your-path-to-ggml/ggml-model-q8_0.ggufTEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>
{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>
{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>
{{ .Response }}<|eot_id|>"""SYSTEM """"""PARAMETER num_keep 24PARAMETER stop <|start_header_id|>PARAMETER stop <|end_header_id|>PARAMETER stop <|eot_id|>PARAMETER stop assistantPARAMETER stop Assistant
FROM 字段指向 GGUF 文件的路径,使用的是 Instruct 模型。
TEMPLATE 字段定义了指令模板格式。
4. 创建模型实例
在命令行中运行以下命令,创建一个名为 llama3-zh-inst(名称可自定义)的模型实例,加载 Modelfile 配置:
ollama create llama3-zh-inst -f Modelfile
比如我的 Modelfile 文件放在 D:\xiazai\edge\Modelfile,那我我要运行的就是 `ollama create llama3-zh-inst -f D:\xiazai\edge\Modelfile'
命令行将输出 "success",表示创建成功。
5. 开始聊天
通过运行以下命令进入聊天程序:
ollama run llama3-zh-inst
领取专属 10元无门槛券
私享最新 技术干货