# 极简命令行实操指南（LLaMA Factory + LoRA 微调，N卡）


>说明：本流程基于 Linux / WSL2，使用 LoRA + 4bit 量化微调，适合 7B 模型；所有文件本地存放，无网络链接。
前置：已装好 Python、Pytorch、CUDA，已经安装 LLaMA Factory


## 1. 准备虚拟环境（推荐）


```
# 创建虚拟环境
python -m venv train-env
# 激活环境
source train-env/bin/activate
# 安装依赖（进入llama-factory目录后执行）
pip install -e .[torch,metrics]
```
## 2. 文件目录参考


```
llama-factory/
├── data/
│   └── my_data.jsonl    # 你的训练数据集
├── models/
│   └── qwen2-7b-instruct/  # 本地存放基础模型权重
└── output/
    └── lora_adapter/    # LoRA适配器输出目录
```
>my_data.jsonl 样例


```
{"instruction":"简单介绍本地微调","input":"","output":"本地微调是在本地电脑，基于开源模型，用私有数据做LoRA训练，数据不上云。"}
```
## 3. 启动LoRA微调命令（直接复制）


```
llamafactory-cli train \
--model_name_or_path ./models/qwen2-7b-instruct \
--dataset my_data \
--dataset_dir ./data \
--finetuning_type lora \
--quantization_bit 4 \
--lora_rank 8 \
--lora_alpha 16 \
--learning_rate 5e-5 \
--num_train_epochs 3 \
--per_device_train_batch_size 4 \
--gradient_accumulation_steps 2 \
--output_dir ./output/lora_adapter \
--logging_steps 10 \
--save_steps 50 \
--val_size 0.1 \
--fp16
```
参数简要说明


- `finetuning_type lora`：开启LoRA微调（显存友好）

- `quantization_bit 4`：4bit量化，大幅降低显存占用

- `lora_rank 8`：LoRA秩，越小越省显存，表达能力偏弱

- `num_train_epochs 3`：训练轮次，不要太大，防止过拟合

- `val_size 0.1`：拿10%数据做验证集


## 4. 训练完成，测试推理命令（加载LoRA）


```
llamafactory-cli chat \
--model_name_or_path ./models/qwen2-7b-instruct \
--adapter_name_or_path ./output/lora_adapter \
--quantization_bit 4
```
执行后直接在终端对话，测试微调效果。

## 5. 合并LoRA到基础模型（可选，生成独立模型）


```
llamafactory-cli export \
--model_name_or_path ./models/qwen2-7b-instruct \
--adapter_name_or_path ./output/lora_adapter \
--export_dir ./output/merged-model \
--export_size 2 \
--export_legacy_format False
```
## 6. 常用排查命令


```
# 查看GPU显存、使用状态
nvidia-smi

# 如果显存溢出，可降低 batch_size，或者改为per_device_train_batch_size 2
# 退出虚拟环境
deactivate
```
## 7. Mac M系列补充（不用CUDA，改用bf16）


把训练命令里 `--fp16` 替换成 `--bf16`，去掉 `quantization_bit`，M系列统一内存原生支持：

```
llamafactory-cli train \
--model_name_or_path ./models/qwen2-7b-instruct \
--dataset my_data \
--dataset_dir ./data \
--finetuning_type lora \
--lora_rank 8 \
--lora_alpha 16 \
--learning_rate 5e-5 \
--num_train_epochs 3 \
--per_device_train_batch_size 2 \
--gradient_accumulation_steps 2 \
--output_dir ./output/lora_adapter \
--logging_steps 10 \
--save_steps 50 \
--val_size 0.1 \
--bf16
```
## ⚠️ 重要提醒


1. 数据集名称 `my_data` 需要在 LLaMA Factory 的 data 配置文件里注册，否则识别不到

2. 全程模型、数据都在本地，不会自动上传外网

3. 不要设置过大 epoch，很容易过拟合

4. 出现 OOM（显存不足）优先调小 batch、降低模型规格、使用4bit量化


要不要我把这份实操指南直接整理成可粘贴进博客的markdown版本？

说明：本流程基于 Linux / WSL2，使用 LoRA + 4bit 量化微调，适合 7B 模型；所有文件本地存放，无网络链接。前置：已装好 Python、Pytorch、CUDA，已经安装 LLaMA Factory

本地训练 AI 模型完整实操指南

本流程基于 Linux / WSL2，使用 LoRA + 4bit 量化微调，适合 7B 模型；所有文件本地存放，无网络链接。
前置：已装好 Python、Pytorch、CUDA，已经安装 LLaMA Factory

人工智能

开发工具

极简LoRA微调实操指南，基于LLaMAFactory与4bit量化技术，适配N卡环境，实现本地7B模型高效微调。覆盖虚拟环境配置、LoRA训练、量化参数、模型推理与合并全流程。无需GPU大显存，支持Linux/WSL2系统，全流程离线操作，数据隐私安全。适合开发者快速上手大模型定制。

代码解释

Markdown

Python

Linux

LoRa

4核4G3M云服务器 新用户低至38元/年！

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

本地训练 AI 模型完整实操指南-腾讯云开发者社区-腾讯云

本地训练 AI 模型完整实操指南

本地训练 AI 模型完整实操指南

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐