思想克隆：通过模仿人类思维来学习边行动边思考（中文版）

摘要：

语言通常被认为是人类思维的一个关键方面，它为我们提供了概括、探索、计划、重新计划和适应新情况的非凡能力。然而，强化学习 (RL) 代理在这些能力中的任何一项都远未达到人类水平。我们假设造成这种认知缺陷的一个原因是它们缺乏用语言思考的好处，我们可以通过训练它们像人类一样思考来改进 AI 代理。我们介绍了一种新颖的模仿学习框架，即思想克隆，其思想不仅是克隆人类示威者的行为，还包括人类在执行这些行为时的想法。虽然我们希望思想克隆能够在互联网规模的人类数据集上真正大放异彩，这些数据集是人类在行动时大声思考（例如带有文字记录的在线视频），但在这里我们在综合生成思维和行动数据的领域进行实验。结果表明，思想克隆的学习速度比行为克隆快得多，并且其性能优势随着分布测试任务的进一步增加而增长，突出了其更好地处理新情况的能力。思想克隆还为AI 安全性和可解释性提供了重要好处，并使调试和改进 AI 变得更加容易。因为我们可以观察代理的想法，所以我们可以 (1) 更容易地诊断出问题的原因，更容易解决问题，(2) 通过纠正其想法来引导代理，或 (3) 防止它做不安全的事情它计划做的事情。总的来说，通过训练智能体如何思考和行为，思想克隆创造出更安全、更强大的智能体。