英伟达揭示RL Scaling魔力！训练步数翻倍=推理能力质变，小模型突破推理极限

机器之心

发布于 2025-06-10 05:34:58

760

强化学习（RL）到底是语言模型能力进化的「发动机」，还是只是更努力地背题、换个方式答题？这个问题，学界争论已久：RL 真能让模型学会新的推理技能吗，还是只是提高了已有知识的调用效率？

过去的研究多数持悲观态度：认为 RL 带来的收益非常有限，有时甚至会让模型「同质化」加重，失去多样性。然而，来自英伟达的这项研究指出，造成这一现象的根本原因在于：数学、编程等任务在 base model 的训练数据中被过度呈现，以及 RL 训练步数不足。

论文题目：ProRL: Prolonged Reinforcement Learning Expands Reasoning Boundaries in Large Language Models
链接：https://arxiv.org/pdf/2505.24864

ProRL 来了！长期训练 = 推理能力质变！

由 NVIDIA 团队提出的 ProRL（Prolonged Reinforcement Learning）框架，将 RL 训练步数从传统的几百步大幅提升至 2000 步以上，释放了小模型潜藏的巨大潜力。结果令人震惊：

原本完全不会做的逻辑谜题，ProRL 模型的 pass@k 能达到 100%
创造力指标（Creativity Index）飙升，模型能主动生成全新解题路径
不再是「蒙对答案」，而是真正「开窍」了！

这一突破主要来自于稳定长期的强化学习，然而，长期 RL 训练并不容易，容易出现熵崩塌、性能震荡、甚至「摆烂」。为此，团队构建了完整的技术组合拳：

多样化可验证奖励任

引入了数学、编程、科学问答（STEM）、逻辑谜题、指令遵循等多领域数据，这些任务具有程序化可验证的正确答案，为 RL 训练提供了可靠、客观的监督信号，不再依赖「易被骗」的奖励模型。

改进算法组合：GRPO + DAPO

在 GRPO（Group Relative Policy Optimization）框架基础上，融合 DAPO（Decoupled Clip and Dynamic Sampling）关键的解耦裁剪（Decoupled Clipping）来避免策略更新失衡，以及动态采样（Dynamic Sampling）来过滤掉「太容易」或「完全不会」的无效样本，提升训练效率。

KL 正则化 + 周期性策略重置

与一些去 KL 正则的做法相反，本论文发现适度 KL 惩罚是稳定训练的关键。同时引入参考策略重置机制：当 KL 骤增或性能下滑时，重置参考策略为当前模型副本，并重置优化器，让训练「重启」。这个简单机制有效打破训练停滞，使模型持续进化。

基于 ProRL 技术，团队训练出 Nemotron-Research-Reasoning-Qwen-1.5B，展现出惊人的性能优势：

在数学任务中提升 14.7%，赶超 7B 模型
在代码生成上领先 DeepCoder-1.5B 达 6.5%
在逻辑推理方面，准确率提升高达 54.8%

ProRL 真的能够拓宽模型能力边界

近来，对于 RL 是否能够拓宽模型的能力边界一直有争议。作者在文章中着重分析了 RL 是否能够拓宽能力边界的问题，并且发现，长期稳定的 RL 能够带来模型能力的真正提升。围绕着这个主题，文章主要揭示了三个方面的发现：

RL 模型能解出 base model 无论如何采样都完全答不出的题，甚至做到 pass@k 100%。这不是随机波动，而是新能力的诞生。
强化学习带来的提升与基础模型的初始表现之间呈显著负相关关系。在那些 base model 表现较弱的任务（初始 pass@k 较低），RL 展现出极强的「推理边界扩展」能力。而在本身已经很强的领域，如数学和代码（这些任务的「创造力指数」较低），ProRL 的边界扩展则较为有限。对于图中「Diminished Area」中提升较小的任务，作者观察到一个共同特征：这些任务在预训练数据中已被充分覆盖，缺乏进一步扩展的空间，因此 RL 提供的增益有限。