LLM微调技术：从LoRA到QLoRA的演进

作者：HOS(安全风信子) 日期：2025-12-30 来源：GitHub 摘要： 本文深入探讨了2025年大语言模型（LLM）微调技术的最新进展，从经典的全参数微调到高效的参数高效微调技术，重点分析了LoRA及其衍生技术的演进历程。通过分析GitHub上最新的开源项目和研究成果，本文系统梳理了各种微调技术的原理、实现和应用，并提供了完整的实践指南和性能评估

1. 背景与动机

微调是将预训练大语言模型适配到特定任务的关键步骤。在早期，LLM微调主要采用全参数微调方式，需要微调整个模型的所有参数。然而，随着模型规模的不断增长，全参数微调面临着巨大的挑战：

1. 计算资源需求大：一个70B参数的模型，全参数微调需要数百GB的显存，只有少数机构能够承担。
2. 存储成本高：每个微调任务都会产生一个新的模型副本，需要大量的存储空间。
3. 部署困难：微调后的模型需要单独部署，增加了部署和管理的复杂性。
4. 训练时间长：全参数微调需要数天甚至数周的时间，迭代效率低下。

为了解决这些问题，参数高效微调（Parameter-Efficient Fine-Tuning，PEFT）技术应运而生。参数高效微调技术旨在只微调模型的一小部分参数，同时保持较好的性能，降低微调的计算和存储成本。

在过去的一年中，GitHub上涌现出了许多优秀的参数高效微调技术和工具，如LoRA、QLoRA、Adapter等，这些技术和工具为LLM的广泛应用奠定了基础。

2. 核心发现/更新点

通过对GitHub上最新LLM微调技术项目的深入分析，我们发现了以下几个关键趋势和更新点：

1. 参数高效微调成为主流：参数高效微调技术已经成为LLM微调的主流选择，能够在只微调少量参数的情况下达到接近全参数微调的性能。
2. LoRA生态不断丰富：LoRA技术作为参数高效微调的代表，其生态系统不断丰富，出现了许多衍生技术和工具，如QLoRA、AdaLoRA、LoRA++等。
3. 量化微调技术成熟：量化微调技术，如QLoRA，能够在量化的预训练模型上直接进行微调，进一步降低了微调的计算和存储需求。
4. 多任务微调支持增强：最新的微调技术支持多任务同时微调，能够在一个模型上同时适配多个任务，提高了模型的通用性和效率。
5. 微调工具链完善：从数据准备到微调再到部署的完整工具链已经形成，如Hugging Face的PEFT库，支持多种微调技术和硬件平台。

3. 技术或研究拆解

3.1 LLM微调技术分类

3.2 全参数微调

全参数微调是最传统的微调方式，需要微调整个模型的所有参数。这种方式的优点是能够充分利用预训练模型的能力，达到最佳的微调效果。但是，正如前面所述，全参数微调面临着巨大的计算和存储挑战。

GitHub上的最新项目如DeepSpeed和Megatron-LM提供了高效的全参数微调支持，能够在数千GPU上并行训练，加速微调过程。但是，即使如此，全参数微调仍然只适合少数拥有大量计算资源的机构。

3.3 参数高效微调

参数高效微调是目前LLM微调的主流方式，只需要微调模型的一小部分参数，同时保持较好的性能。

3.3.1 LoRA系列

LoRA（Low-Rank Adaptation）是参数高效微调的代表技术，通过引入低秩矩阵来微调预训练模型，只需要微调少量参数即可达到较好的效果。

3.3.1.1 LoRA基本原理

LoRA的核心思想是将权重更新分解为两个低秩矩阵的乘积，从而减少需要微调的参数数量。具体来说，对于预训练模型的每个权重矩阵W，LoRA引入两个低秩矩阵A和B，其中A的维度是d×r，B的维度是r×k，r是低秩维度，通常远小于d和k。权重更新ΔW = A×B，微调后的权重矩阵为W + ΔW。

GitHub上的最新项目如microsoft/LoRA实现了LoRA技术，支持多种模型架构和任务类型。

3.3.1.2 QLoRA

QLoRA（Quantized LoRA）是LoRA的量化版本，能够在量化的预训练模型上直接进行微调，进一步降低了微调的计算和存储需求。QLoRA的核心思想是将预训练模型量化为4位精度，然后在量化模型上应用LoRA微调。

GitHub上的最新项目如bitsandbytes/qlora实现了QLoRA技术，能够在单个GPU上微调70B参数的模型，大大降低了微调的门槛。

3.3.1.3 AdaLoRA

AdaLoRA（Adaptive LoRA）是LoRA的自适应版本，能够根据权重的重要性动态调整低秩维度，进一步提高微调效率。AdaLoRA的核心思想是在训练过程中动态评估每个权重的重要性，为重要的权重分配更大的低秩维度，为不重要的权重分配更小的低秩维度。

GitHub上的最新项目如WangRongsheng/AdaLoRA实现了AdaLoRA技术，能够在保持性能的同时进一步减少微调参数数量。

3.3.1.4 LoRA++

LoRA++是LoRA的增强版本，通过引入更多的低秩矩阵和正则化技术，进一步提高了微调性能。LoRA++的核心思想是将权重更新分解为多个低秩矩阵的和，并添加正则化项，防止过拟合。

GitHub上的最新项目如lightaime/lora-plus-plus实现了LoRA++技术，能够在相同的参数数量下达到更好的微调效果。

3.3.2 Adapter系列

Adapter是另一种流行的参数高效微调技术，通过在预训练模型中插入小型神经网络模块（Adapter），只微调这些模块的参数，而保持预训练模型的参数不变。

3.3.2.1 基本Adapter

基本Adapter是在每个Transformer层中插入两个小型神经网络模块：一个前馈网络和一个瓶颈层。Adapter的参数数量通常远小于预训练模型的参数数量，因此微调成本较低。

GitHub上的最新项目如AdapterHub/adapter-transformers实现了基本Adapter技术，支持多种模型架构和任务类型。

3.3.2.2 Parallel Adapter

Parallel Adapter是基本Adapter的改进版本，将Adapter与预训练模型的前馈网络并行连接，而不是串行连接，能够在不增加推理延迟的情况下提高微调性能。

3.3.2.3 AdapterFusion

AdapterFusion是一种多Adapter融合技术，能够同时使用多个Adapter，并通过注意力机制动态融合它们的输出，提高模型的通用性和性能。

3.3.3 Prefix Tuning

Prefix Tuning是一种基于提示的参数高效微调技术，通过微调输入序列的前缀嵌入，而保持预训练模型的参数不变。Prefix Tuning的核心思想是为每个任务学习特定的前缀嵌入，将这些前缀嵌入添加到输入序列的前面，引导模型生成符合任务要求的输出。

GitHub上的最新项目如TianxiuWang/prefix-tuning实现了Prefix Tuning技术，支持多种模型架构和任务类型。

3.3.4 Prompt Tuning

Prompt Tuning是Prefix Tuning的简化版本，只微调单个提示嵌入，而不是整个前缀嵌入序列。Prompt Tuning的核心思想是为每个任务学习一个特定的提示嵌入，将这个提示嵌入添加到输入序列的前面，引导模型生成符合任务要求的输出。

GitHub上的最新项目如google/prompt-tuning实现了Prompt Tuning技术，支持多种模型架构和任务类型。

3.3.5 P-Tuning

P-Tuning是一种基于可学习模板的参数高效微调技术，通过微调可学习的模板参数，而保持预训练模型的参数不变。P-Tuning的核心思想是为每个任务学习一个特定的可学习模板，将这个模板插入到输入序列中，引导模型生成符合任务要求的输出。

GitHub上的最新项目如THUDM/P-tuning-v2实现了P-Tuning技术，支持多种模型架构和任务类型。

3.4 微调技术对比

Table 1: 主流微调技术对比

通过对比可以看出，不同的微调技术在参数效率、性能、计算成本、存储成本和推理延迟等方面各有优缺点，需要根据具体的应用场景和需求选择合适的微调技术。

3.5 微调实践指南

3.5.1 数据准备

数据准备是微调的关键步骤，高质量的数据直接决定了微调的效果。微调数据准备主要包括以下几个步骤：

1. 数据收集：收集与目标任务相关的高质量数据，可以从公开数据集、企业内部数据或合成数据中获取。
2. 数据清洗：清洗数据，去除噪声、重复数据和无关数据。
3. 数据标注：对数据进行标注，确保标注质量和一致性。
4. 数据格式化：将数据格式化为模型所需的格式，如对话格式、问答格式等。
5. 数据增强：对数据进行增强，提高数据的多样性和数量。

GitHub上的最新项目如HuggingFace/datasets提供了完整的数据处理工具链，支持多种数据格式和任务类型。

3.5.2 模型选择

模型选择是微调的重要步骤，需要根据任务需求和资源条件选择合适的预训练模型。模型选择主要考虑以下几个因素：

1. 模型规模：模型规模越大，性能通常越好，但计算和存储成本也越高。
2. 模型架构：不同的模型架构在不同任务上的表现可能不同，需要根据任务类型选择合适的模型架构。
3. 模型语言：需要根据目标任务的语言选择合适的预训练模型。
4. 模型许可证：需要考虑模型的许可证是否允许商业使用。

GitHub上的最新项目如HuggingFace/model-hub提供了大量的预训练模型，支持多种语言和任务类型。

3.5.3 微调策略

微调策略是微调的核心步骤，需要根据任务需求和模型特性选择合适的微调策略。微调策略主要包括以下几个方面：

1. 微调技术选择：选择合适的微调技术，如LoRA、QLoRA、Adapter等。
2. 超参数调整：调整学习率、 batch size、训练轮数等超参数，优化微调效果。
3. 正则化技术：使用 dropout、权重衰减等正则化技术，防止过拟合。
4. 学习率调度：使用合适的学习率调度策略，如线性衰减、余弦衰减等。
5. 多任务学习：如果需要适配多个任务，可以考虑使用多任务学习策略。

GitHub上的最新项目如HuggingFace/transformers提供了完整的微调工具链，支持多种微调技术和超参数调整。

3.5.4 评估与部署

评估与部署是微调的最后步骤，需要评估微调效果并将模型部署到生产环境。

1. 评估指标：选择合适的评估指标，如准确率、F1值、BLEU分数等，评估微调效果。
2. 基准测试：将微调后的模型与基线模型进行对比，评估性能提升。
3. 模型导出：将微调后的模型导出为适合部署的格式，如ONNX、TorchScript等。
4. 模型部署：将模型部署到生产环境，如API服务、本地部署等。
5. 监控与更新：监控模型的性能和使用情况，定期更新模型。

GitHub上的最新项目如HuggingFace/optimum提供了完整的模型优化和部署工具链，支持多种部署方式和硬件平台。

4. 与现有方案对比

通过对比可以看出，不同的微调技术在不同场景下各有优势，需要根据具体的需求和资源条件选择合适的微调技术。

5. 实际意义/风险/未来趋势

5.1 实际意义

1. 降低微调门槛：参数高效微调技术降低了LLM微调的计算和存储门槛，使更多的开发者和机构能够参与LLM的微调。
2. 提高迭代效率：参数高效微调技术缩短了微调时间，提高了迭代效率，使开发者能够更快地验证和改进模型。
3. 降低部署成本：参数高效微调技术只需要微调少量参数，不需要存储完整的模型副本，降低了模型的存储和部署成本。
4. 促进生态发展：参数高效微调技术的发展促进了LLM生态的发展，推动了更多LLM应用的出现和普及。
5. 支持边缘部署：参数高效微调技术支持在边缘设备上进行微调，拓展了LLM的应用场景。

5.2 风险

1. 性能损失：参数高效微调技术可能带来一定的性能损失，需要在参数效率和性能之间进行权衡。
2. 技术复杂度：一些高级微调技术的实现比较复杂，需要专业的知识和技能，增加了开发者的学习成本。
3. 兼容性问题：不同的微调技术和工具之间可能存在兼容性问题，增加了模型部署和迁移的难度。
4. 过拟合风险：参数高效微调技术只微调少量参数，可能存在过拟合的风险，需要使用适当的正则化技术。
5. 模型退化：如果微调数据质量不高或微调策略不当，可能导致模型性能退化，需要仔细设计微调流程。

5.3 未来趋势

1. 更高效的微调技术：未来的微调技术将更加高效，能够在更少的参数下达到更好的性能。
2. 自动化微调流程：自动化的微调流程将成为主流，能够根据任务需求和模型特性自动选择最优的微调策略。
3. 多模态微调支持：未来的微调技术将支持多模态微调，能够同时微调模型的文本、图像、音频等能力。
4. 联邦微调技术：联邦微调技术将得到发展，能够在保护数据隐私的前提下进行模型微调。
5. 动态微调技术：动态微调技术将成为趋势，能够根据实时数据动态调整模型参数，适应不断变化的任务需求。

6. 结论

本文深入探讨了2025年大语言模型微调技术的最新进展，从全参数微调到参数高效微调，重点分析了LoRA及其衍生技术的演进历程。通过分析GitHub上最新的开源项目和研究成果，我们系统梳理了各种微调技术的原理、实现和应用，并提供了完整的实践指南和性能评估。

2025年，参数高效微调技术已经成为LLM微调的主流选择，其中LoRA系列技术，特别是QLoRA，凭借其高效的参数利用和出色的性能表现，得到了广泛的应用。这些技术的发展降低了LLM微调的门槛，提高了迭代效率，促进了LLM生态的发展。

同时，我们也需要关注微调技术面临的挑战，如性能损失、技术复杂度、兼容性问题等。未来，随着更高效的微调技术、自动化微调流程、多模态微调支持、联邦微调技术和动态微调技术的出现，LLM微调技术将进一步发展，推动LLM技术在更多领域的广泛应用。

参考链接：

• GitHub - microsoft/LoRA: Low-Rank Adaptation of Large Language Models
• GitHub - bitsandbytes-foundation/bitsandbytes: 8-bit CUDA functions for PyTorch
• GitHub - huggingface/peft: 🤗 PEFT: State-of-the-art Parameter-Efficient Fine-Tuning.
• GitHub - Adapter-Hub/adapter-transformers: A unified framework for parameter-efficient transfer learning.
• GitHub - THUDM/P-tuning-v2: P-tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks

关键词： 大语言模型, 微调, LoRA, QLoRA, 参数高效微调, GitHub