文章/答案/技术大牛

发布

社区首页 >专栏 >LLM已能自我更新权重，自适应、知识整合能力大幅提升，AI醒了？

LLM已能自我更新权重，自适应、知识整合能力大幅提升，AI醒了？

机器之心

发布于 2025-06-15 02:40:32

11501

代码可运行

文章被收录于专栏：机器之心机器之心

运行总次数：1

代码可运行

机器之心报道

编辑：Panda

近段时间，关于 AI 自我演进/进化这一话题的研究和讨论开始变得愈渐密集。

本月初我们就曾梳理报道了一些，包括 Sakana AI 与不列颠哥伦比亚大学等机构合作的「达尔文-哥德尔机（DGM）」、CMU 的「自我奖励训练（SRT）」、上海交通大学等机构提出的多模态大模型的持续自我改进框架「MM-UPT」、香港中文大学联合 vivo 等机构的自改进框架「UI-Genie」，参阅文章《LSTM 之父 22 年前构想将成真？一周内 AI「自我进化」论文集中发布，新趋势涌现？》

那之后，相关研究依然还在不断涌现，以下拼图展示了一些例子：

而前些天，OpenAI CEO、著名 𝕏 大 v 山姆・奥特曼在其博客《温和的奇点（The Gentle Singularity）》中更是畅想了一个 AI/智能机器人实现自我改进后的未来。他写道：「我们必须以传统的方式制造出第一批百万数量级的人形机器人，但之后它们能够操作整个供应链来制造更多机器人，而这些机器人又可以建造更多的芯片制造设施、数据中心等等。」

不久之后，就有 𝕏 用户 @VraserX 爆料称有 OpenAI 内部人士表示，该公司已经在内部运行能够递归式自我改进的 AI。这条推文引起了广泛的讨论 —— 有人表示这不足为奇，也有人质疑这个所谓的「OpenAI 内部人士」究竟是否真实。

https://x.com/VraserX/status/1932842095359737921

但不管怎样，AI 也确实正向实现自我进化这条路前进。

MIT 昨日发布的《Self-Adapting Language Models》就是最新的例证之一，其中提出了一种可让 LLM 更新自己的权重的方法：SEAL🦭，即 Self-Adapting LLMs。在该框架中，LLM 可以生成自己的训练数据（自编辑 /self-editing），并根据新输入对权重进行更新。而这个自编辑可通过强化学习学习实现，使用的奖励是更新后的模型的下游性能。

论文标题：Self-Adapting Language Models
论文地址：https://arxiv.org/pdf/2506.10943
项目页面：https://jyopari.github.io/posts/seal
代码地址：https://github.com/Continual-Intelligence/SEAL

这篇论文发布后引发了广泛热议。在 Hacker News 上，有用户评论说，这种自编辑方法非常巧妙，但还不能说就已经实现了能「持续自我改进的智能体」。

论文一作 Adam Zweiger 也在 𝕏 上给出了类似的解释：

也有人表示，这表明我们正在接近所谓的事件视界（event horizon）—— 这个概念其实也出现在了山姆・奥特曼《温和的奇点》博客的第一句话，不过奥特曼更激进一点，他的说法是「我们已经越过了事件视界」。简单来说，event horizon（事件视界）指的是一个不可逆转的临界点，一旦越过，人类将不可避免地迈入某种深刻变革的阶段，比如通向超级智能的道路。

当然，也有人对自我提升式 AI 充满了警惕和担忧。

下面就来看看这篇热门研究论文究竟得到了什么成果。

自适应语言模型（SEAL）

SEAL 框架可以让语言模型在遇到新数据时，通过生成自己的合成数据并优化参数（自编辑），进而实现自我提升。

该模型的训练目标是：可以使用模型上下文中提供的数据，通过生成 token 来直接生成这些自编辑（SE）。

自编辑生成需要通过强化学习来学习实现，其中当模型生成的自编辑在应用后可以提升模型在目标任务上的性能时，就会给予模型奖励。

因此，可以将 SEAL 理解为一个包含两个嵌套循环的算法：一个外部 RL 循环，用于优化自编辑生成；以及一个内部更新循环，它使用生成的自编辑通过梯度下降更新模型。

该方法可被视为元学习的一个实例，即研究的是如何以元学习方式生成有效的自编辑。

通用框架

令 θ 表示语言模型 LM_θ 的参数。 SEAL 是在单个任务实例 (C, τ) 上运作，其中 C 是包含与任务相关信息的上下文，τ 定义了用于评估模型适应度（adaptation）的下游评估。

比如，在知识整合任务中，C 是旨在整合到模型内部知识中的段落，τ 是关于该段落的一组问题及其相关答案。而在少样本学习任务中，C 包含某个新任务的少样本演示，τ 是查询输入和 ground-truth 输出。

给定 C，模型会生成一个自编辑 SE（其形式因领域而异），并通过监督微调更新自己的参数：θ′ ← SFT (θ, SE)。

该团队使用了强化学习来优化自编辑的生成过程：模型执行一个动作（生成 SE），再根据 LM_θ′ 在 τ 上的表现获得奖励 r，并更新其策略以最大化预期奖励：

不过，与标准强化学习设置不同，在这里的设置中，分配给给定动作的奖励取决于执行动作时的模型参数 θ（因为 θ 会更新为 θ′，然后再被评估）。

如此一来，底层的强化学习状态必定会包含策略的参数，并由 (C, θ) 给出，即使策略的观测值仅限于 C（将 θ 直接置于上下文中是不可行的）。

这意味着，使用先前版本模型 θ_old 收集的 (state, action, reward) 三元组可能会过时，并且与当前模型 θ_current 不一致。因此，该团队采用一种基于策略的方法，其中会从当前模型中采样自编辑 SE，并且至关重要的是，奖励也会使用当前模型进行计算。

该团队尝试了各种在线策略方法，例如组相对策略优化 (GRPO) 和近端策略优化 (PPO) ，但发现训练不稳定。

最终，他们选择了来自 DeepMind 论文《Beyond human data: Scaling self-training for problem-solving with language models.》的 ReST^EM，这是一种基于已过滤行为克隆的更简单的方法 —— 也就是「拒绝采样 + SFT」。

ReST^EM 可以被视为一个期望最大化 (EM) 过程：E-step 是从当前模型策略采样候选输出，M-step 是通过监督微调仅强化那些获得正奖励的样本。这种方法可在以下二元奖励下优化目标 (1) 的近似：

更准确地说，在优化 (1) 时，必须计算梯度

。然而，在这里的设置中，奖励项 r (SE, τ, θ_t) 取决于 θ_t，但不可微分。为了解决这个问题，该团队的做法是将奖励视为相对于 θ_t 固定。通过这种近似，对于包含 N 个上下文和每个上下文 M 个采样得到自编辑的小批量，其蒙特卡洛估计器变为：

其中 p_θ_t 表示模型的自回归分布，y_s^(i,j) 是自编辑 SE_ij 的第 s 个 token，即上下文 C_i 的第 j 个样本。由于在 (4) 中可以忽略 r = 0 的序列，该团队研究表明：在二元奖励 (2) 下（对奖励项应用停止梯度），ReST^EM 只需使用简单的「在好的自编辑上进行 SFT」，就能优化 (1)。算法 1 给出了 SEAL 的训练循环。