SeRA：通过自我审查提升RLHF性能的新方法

一种改进的基于人类反馈的强化学习训练方法

对比具有较大奖励差异的训练对可以减轻虚假相关性的影响，并将直接对齐算法的性能提升高达20%至40%。

基于人类反馈的强化学习（RLHF）是使大型语言模型（LLM）与人类偏好（例如对无害语言和事实准确回答的偏好）对齐的标准方法。最近，最流行的RLHF方法之一是直接偏好优化（DPO），在该方法中，LLM需要在两个输出选项中进行选择，其中一个已被人类标注者标记为首选。

然而，对于直接偏好优化（DPO）以及其他类似的直接对齐算法，LLM存在从数据中学习虚假相关性的风险。例如，在毒性数据集中，严肃、 thoughtful 的回答通常比攻击性回答更长。因此，在RLHF过程中，LLM可能会学会偏好较长的回答而不是较短的回答，而这通常并不可取。

在今年国际学习表征会议（ICLR）上，我们提出了一种限制此类虚假相关性的方法，我们称之为SeRA，即自我审查与对齐。首先，在基于人工标注数据进行首轮RLHF之后，利用LLM自身生成额外的训练样本。然后，使用LLM的输出概率来评估训练对的偏好强度，只保留那些首选响应被强烈偏好的配对。

为了评估我们的方法，我们在四个基准数据集上，将使用SeRA训练的模型与三个基线模型进行了比较。对于每个测试输入，我们将模型的输出与每个基线模型的输出进行比较，并使用一个现成的LLM来选择更好的响应。在这些成对比较中，经过SeRA训练的模型的胜率全面高于所有三个基线模型，有时甚至高出20%到40%。

直接偏好优化

强化学习是一种试错方法，其中智能体与环境交互，并根据其采取的行动获得或大或小的奖励。随着时间的推移，智能体尝试学习一种能够最大化其累积奖励的策略。

在经典强化学习中，与环境的交互可以是字面意义上的：例如，一个机器人可能因成功导航到指定位置而获得大量奖励，因撞到墙壁而获得负奖励。然而，在RLHF中，奖励取决于LLM的输出与人类指定的范例案例的匹配程度。

使用传统的RLHF，奖励由一个单独的模型计算，该模型也在人工标注的数据上进行训练。但这种方法耗时且难以扩展。而使用DPO，则不需要第二个模型：如果LLM选择了人类偏好的输出，它就会获得奖励；否则就不会。

DPO的缺点在于，它平等地对待所有训练对：无论首选输出是被强烈偏好还是仅被轻微偏好，奖励都是相同的。这增加了模型学习虚假相关性的可能性。

例如，如果选择强烈有毒的响应比选择轻度有毒的响应受到更大的惩罚，模型就可以推断出毒性（而非响应长度）是训练样本的相关特征。DPO抹平了这些差异；而SeRA则重新引入了它们。

SeRA

使用SeRA，我们首先使用人工标注的示例对数据集执行传统的DPO。在完成对数据的首轮处理后，LLM已经学到了一些关于人类偏好输出类型的信息。

然后，我们使用更新后的模型生成一组新的训练示例。对于每一对生成的响应，我们根据更新后的模型生成该响应的概率，为每个响应分配一个偏好分数。然后，我们只保留那些首选响应得分显著高于非首选响应的配对。

使用相同的度量标准，我们接下来过滤原始人工标注数据集中的数据。然后，我们将来自原始数据集的过滤样本与来自我们新生成的、经过过滤的数据集样本结合起来，再次执行DPO。这个过程会重复进行，生成样本在数据集中所占比例越来越大，直到模型性能收敛。

这里的直觉是，如果一个数据集旨在代表某种对比，但也包含虚假相关性，那么预期的对比（例如，有毒和无毒数据之间）将显著大于非预期的对比（例如，长响应和短响应之间）。

这一假设在我们用来评估方法的四个基准数据集上成立，我们认为这对于其他虚假相关性也是一个合理的假设。但在某些情况下它可能不成立，因此在应用SeRA方法时，应监控模型的收敛行为。

虽然我们在实验中使用了DPO，但在我们的论文中，我们也展示了如何将我们的方法推广到其他直接对齐算法。最后，使用模型生成的数据来训练模型存在一定风险，即我们可能会陷入一个反馈循环，模型过度放大了初始数据集的某些方面。因此，在每一轮数据处理中，模型的奖励不仅基于当前迭代，也基于过去的迭代，以确保训练数据特征属性的连续性。

致谢： Sravan BodapatiFINISHED