MIT推出SEAL框架：实现AI自我迭代新突破

MIT推出SEAL框架：实现AI自我迭代新突破

研究背景

AI自我改进概念近期在研究界引发热议，多位知名人士就自进化智能系统未来发表见解。麻省理工学院最新论文《自适应语言模型》提出SEAL框架，使大语言模型能够更新自身权重，被视为实现真正自进化AI的重要进展。

该论文发布后立即引发广泛讨论。SEAL提出了一种方法，让大语言模型通过“自我编辑”生成自己的训练数据，随后基于新输入更新权重。关键在于，这种自我编辑过程通过强化学习习得，奖励机制与更新后模型的下游性能挂钩。

SEAL框架核心原理

SEAL的核心思想是让语言模型在遇到新数据时，通过生成自己的合成数据并通过自我编辑优化参数来实现自我改进。模型的训练目标是直接使用模型上下文提供的数据生成这些自我编辑。

自我编辑的生成通过强化学习实现。当生成的自我编辑应用后能提高目标任务性能时，模型会获得奖励。因此，SEAL可被概念化为具有两个嵌套循环的算法：外层的强化学习循环优化自我编辑的生成，内层的更新循环使用生成的自我编辑通过梯度下降更新模型。

该方法可被视为元学习的一个实例，重点在于如何以元学习方式生成有效的自我编辑。

通用框架设计

SEAL在单个任务实例上运行，其中包含与任务相关的上下文信息和定义下游评估的指标。例如，在知识整合任务中，上下文可能是需要整合到模型内部知识中的段落，而评估指标则是关于该段落的一组问题。

给定上下文后，模型生成自我编辑，然后通过监督微调更新其参数。强化学习用于优化这种自我编辑生成：模型执行动作，根据更新后模型在评估指标上的表现获得奖励，并更新其策略以最大化预期奖励。

研究人员发现传统的在线策略方法会导致训练不稳定，最终选择了某机构论文中提出的基于过滤的行为克隆方法。该方法可被视为期望最大化过程，其中E步从当前模型策略中采样候选输出，M步仅通过监督微调强化那些产生正奖励的样本。

论文还指出，虽然当前实现使用单一模型生成和学习自我编辑，但这些角色可以在“教师-学生”设置中分离。

具体领域应用

研究团队在两个特定领域实例化了SEAL：知识整合和少样本学习。

知识整合：目标是将文章信息有效整合到模型权重中。

少样本学习：涉及模型使用极少示例适应新任务。

实验结果

少样本学习和知识整合的实验结果都证明了SEAL框架的有效性。

在少样本学习中，使用Llama-3.2-1B-Instruct模型时，SEAL显著提高了适应成功率，达到72.5%，而使用基本自我编辑无强化学习的模型为20%，无适应的模型为0%。虽然仍低于理想基准，但这显示了重大进展。

在知识整合中，使用更大的Qwen2.5-7B模型整合来自SQuAD文章的新事实，SEAL consistently优于基线方法。使用基础模型生成的合成数据进行训练已显示出显著改进，随后的强化学习进一步提升了性能。准确率在外部强化学习迭代中快速提高，通常在两次迭代内就超过使用GPT-4.1生成数据的设置。

论文中的定性示例说明了强化学习如何导致生成更详细的自我编辑，从而提高性能。

局限性与展望

尽管前景广阔，研究人员也承认SEAL框架存在一些局限性，包括灾难性遗忘、计算开销和上下文相关评估等方面。这些在原始论文中有详细讨论。

原始论文：https://arxiv.org/pdf/2506.10943

项目网站：https://jyopari.github.io/posts/seal

GitHub仓库：https://github.com/Continual-Intelligence/SEAL