算力共享：数据并行，模型并行，流水线并行，混合并行策略

# 算力共享：混合并行策略

混合并行策略是在深度学习模型训练过程中，综合运用多种并行技术来加速训练过程的方法。以下是常见的并行技术以及混合并行策略的举例：

一、常见并行技术

1. **数据并行（Data Parallelism）**

- **原理**：将训练数据划分成多个子集，分配到多个计算设备（如GPU）上。每个设备都有**完整的模型副本**，对不同的数据子集进行训练，然后在每个训练步骤结束时，将各个设备上计算得到的梯度进行聚合，更新模型参数。

- **举例**：假设有1000个训练样本和4个GPU。将1000个样本平均分成4份，每份250个样本，分别送到4个GPU上进行训练。**每个GPU独立计算损失和梯度，然后通过AllReduce等操作将梯度汇总平均，更新模型**。

2. **模型并行（Model Parallelism）**

模型并行中的多头切分

多头注意力机制与模型并行

在基于 Transformer 架构的大型语言模型（LLM）中，多头注意力机制（Multi - Head Attention）是一个关键组件。它由多个并行的注意力头（heads）组成，每个头都能从不同的表示子空间中学习到输入的特征。

在模型并行场景下，当模型规模很大，单个计算设备（如 GPU）无法容纳整个模型时，对多头注意力机制进行切分是一种常见的策略。

原理：将多个注意力头分配到不同的计算设备上。例如，一个具有 16 个头的多头注意力层，可以将其中 8 个头分配到一个 GPU 上，另外 8 个头分配到另一个 GPU 上。

优势：这种切分方式相对简单直观，能够有效减少单个设备上的计算量。

挑战：在切分后，不同头之间可能存在信息交互的需求，这就需要在设备间进行额外的数据通信。例如，在计算完注意力权重后，可能需要将不同设备上的头计算结果进行汇总和处理，这会带来一定的通信开销。

**流水线并行（Pipeline Parallelism）**

- **原理**：将模型按层划分为多个阶段，每个阶段分配到不同的设备上。数据像在流水线一样依次经过这些阶段进行处理。

- **举例**：对于一个包含10层的神经网络，将1 - 3层放在第一个GPU上，4 - 6层放在第二个GPU上，7 - 10层放在第三个GPU上。数据首先在第一个GPU上经过1 - 3层的处理，然后传递到第二个GPU进行4 - 6层的处理，最后在第三个GPU上完成7 - 10层的处理。

二、混合并行策略举例

1. **DeepSpeed和Alpa框架的混合并行**

- **策略**：在单机多卡场景下，优先采用张量并行（一种模型并行方式），将模型的计算密集型部分（如大规模矩阵运算）在多个GPU上并行执行，充分利用单机的计算资源，减少计算时间。在多机场景中，考虑到网络通信延迟相对较大，更适合采用流水线并行，将模型按阶段划分到不同机器上，减少跨机通信次数，提高整体性能。

- **具体操作**：

- 假设在一个拥有多个计算节点的集群中，对于一个大型Transformer模型的训练。在单机内（例如一台有4个GPU的服务器），可以采用张量并行。对于模型中的自注意力模块（这部分计算量很大），将其计算按张量进行切分，分别在4个GPU上并行计算，计算完成后再进行聚合。

- 在多机场景中（例如有4台服务器），采用流水线并行。将模型的前几层（如输入嵌入层和部分编码器层）在第一组节点上通过流水线并行处理，后几层（如部分解码器层和输出层）在另一组节点上采用流水线并行处理。这样可以减少跨机通信的频率和数据量，提高整体训练效率。

2. **Megatron - LM的混合并行**

- **策略**：结合了**数据并行和模型并行**。通过数据并行来利用多个GPU处理不同的数据子集，同时采用模型并行（如张量并行和流水线并行）来处理模型过大无法在单个GPU上运行的问题。

- **具体操作**：

- 在数据并行方面，将大规模的训练语料划分成多个小批次，分配到多个GPU上进行训练。

- 在模型并行方面，对于Transformer架构中的矩阵乘法等操作，采用张量并行进行切分计算。同时，对于模型的不同层，也可以采用流水线并行的方式进行处理，不同的GPU负责不同层的计算，形成流水线式的训练流程。