MindIE+MindFormers推理方案指导
原创
MindIE+MindFormers推理方案指导
原创
组件介绍
CANN
异构计算架构CANN（Compute Architecture for Neural Networks）是昇腾针对AI场景推出的异构计算架构，向上支持多种AI框架，包括MindSpore、PyTorch、TensorFlow等，向下服务AI处理器与编程，发挥承上启下的关键作用，是提升昇腾AI处理器计算效率的关键平台。同时针对多样化应用场景，提供多层次编程接口，支持用户快速构建基于昇腾平台的AI应用和业务。
总体架构
MindIE
MindIE（Mind Inference Engine，昇腾推理引擎）是华为昇腾针对AI全场景业务的推理加速套件。通过分层开放AI能力，支撑用户多样化的AI业务需求，使能百模千态，释放昇腾硬件设备算力。向上支持多种主流AI框架，向下对接不同类型昇腾AI处理器，提供多层次编程接口，帮助用户快速构建基于昇腾平台的推理业务。
总体架构
MindFormers
MindSpore Transformers套件的目标是构建一个大模型训练、微调、评估、推理、部署的全流程开发套件，提供业内主流的Transformer类预训练模型和SOTA下游任务应用，涵盖丰富的并行特性。期望帮助用户轻松的实现大模型训练和创新研发。
总体架构
版本配套与安装指导
版本配套关系
MindIE | MindFormers | MindSpore | CANN | 固件与驱动 | 镜像链接 |
|---|---|---|---|---|---|
安装指导
- MindIE安装指南（包括了固件与驱动、CANN、MindIE、pytorch等基础依赖的安装）：1.0.RC3安装、1.0.RC2安装
- MindFormers安装指南（包括了MindFormers、MindSpore的安装）：link
使用指导
参考指导：link
- 环境搭建 1)参考上面的安装指导完成软件安装 2)环境变量设置
# Ascend
source /usr/local/Ascend/ascend-toolkit/set_env.sh
# MindIE
source /usr/local/Ascend/mindie/latest/mindie-llm/set_env.sh
source /usr/local/Ascend/mindie/latest/mindie-service/set_env.sh
# MindSpore
export LCAL_IF_PORT=8129
# 组网配置
export MS_SCHED_HOST=127.0.0.1 # scheduler节点ip地址
export MS_SCHED_PORT=8090 # scheduler节点服务端口- 权重转换 参考指导：link
以Qwen1.5-72B为例
# 以1.3.0版本为例
# 1.拉取MindFormers代码仓
git clone -b r1.3.0 https://gitee.com/mindspore/mindformers.git
# 2.执行权重转换
cd mindformers
# 以Qwen1.5-72B为例, input_path: 指的是从HuggingFace下载的权重目录；output_path: 转换成ms权重的存放路径
python convert_weight.py --model qwen --input_path /data/models/qwen1.5-72B/ --output_path /home/user/ms_weights/qwen1_5_72b/qwen1_5_72B.ckpt转换后的模型权重目录结构如下：
mf_model
└── qwen1_5_72b
├── config.json # 模型json配置文件
├── vocab.json # 模型vocab文件，hf上对应模型下载
├── merges.txt # 模型merges文件，hf上对应模型下载
├── predict_qwen1_5_72b.yaml # 模型yaml配置文件, 从mindformers仓中research目录下找到
├── qwen1_5_tokenizer.py # 模型tokenizer文件，从mindformers仓中research目录下找到对应模型复制
└── qwen1_5_72b_ckpt_dir # 模型分布式权重文件夹或单个权重文件predict_qwen1_5_72b.yaml获取：mindformers/research/qwen1_5/predict_qwen1_5_72b.yaml qwen1_5_tokenizer.py获取：mindformers/research/qwen1_5/qwen1_5_tokenizer.py
predict_qwen1_5_72b.yaml需要关注以下配置, 注释的地方根据实际情况修改：
load_checkpoint: '/mf_model/qwen1_5_72b/qwen1_5_72b_ckpt_dir' # 为存放模型分布式权重文件夹路径
use_parallel: True
auto_trans_ckpt: False # 是否开启自动权重转换，离线切分设置为False
parallel_config:
data_parallel: 1
model_parallel: 4 # 多卡推理配置模型切分，一般与使用卡数一致
pipeline_parallel: 1
processor:
tokenizer:
vocab_file: "/mf_model/qwen1_5_72b/vocab.json" # vocab文件路径
merges_file: "/mf_model/qwen1_5_72b/merges.txt" # merges文件路径- 推理服务化部署 1) 修改MindIE Service配置文件
# 1.打开mindie service配置文件
vim /usr/local/Ascend/mindie/1.0.RC3/mindie-service/conf/config.json
# 2.修改backendType、modelWeightPath配置项
"backendType": "ms"
"modelWeightPath": "/mf_model/qwen1_5_72b"2) 启动服务
cd /usr/local/Ascend/mindie/1.0.RC3/mindie-service
nohup ./bin/mindieservice_daemon > output.log 2>&1 &
tail -f output.log
# 打印如下信息，启动成功
Daemon start success!- 请求测试
服务启动成功后，可使用curl命令发送请求验证，样例如下：
curl -w "\ntime_total=%{time_total}\n" -H "Accept: application/json" -H "Content-type: application/json" -X POST -d '{"inputs": "I love Beijing, because","stream": false}' http://127.0.0.1:1025/generate返回推理结果验证成功：
{"generated_text":" it is a city with a long history and rich culture....."}原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
腾讯云开发者
