谷歌DeepMind最新论文：构建能在人造世界模仿专家的智能体

之前在物理模拟和现实世界机器人中已经证明了用人类数据让具身AI智能体学习新技能的效果。过去的智能体通常需要在监督下从大量第一人称的人类演示中学习，这类演示的获取既昂贵又费时。

相比之下，人类本身可以通过模仿示范者，在几秒内以互动方式学会新技能，即使婴儿也有这种能力。因此，研究人员一直在寻求一种AI智能体，能从效率和隐私与人类相仿的其他个体那里进行社会化学习。

2023年11月28日，谷歌旗下人工智能公司DeepMind的研究团队在Nature Communications上发表了题为：Learning few-shot imitation as cultural transmission 的研究论文。

该研究报道了一个AI智能体，在3D模拟中，该智能体能在第一次见到的任务中实时模仿专家。该智能体能从第三人称视角实时可靠地获取来自人类搭档的知识。

研究团队认为，这项研究结果是对具身智能（Embodied AI，是指有身体并支持物理交互的智能体）实现快速知识传播的一次概念验证，是朝着人类-AI互动的开放式文化演变迈出的第一步。

在这项研究中，Edward Hughes等人利用深度强化学习训练了一个智能体，这个智能体能在名为GoalCycle3D的物理模拟任务空间里，在几分钟内发现和模仿新专家的行为，并记住所学知识。

训练后，他们发现这个智能体可以在各种有挑战性的导航问题中从人类和AI专家这里快速学习，虽然它们以前从来没见过人类。比如，这个智能体可以在包含大量障碍的复杂地形中穿梭。该方法的一个关键是一种新形式的自动化课程，该课程结合了示范者的阶段性遮蔽以及任务难度的逐步升级。研究人员发现，这个智能体的个体神经元是可解释的，而且能同时编码物理信息和社会信息。

这项研究结果为 AI领域和文化演化心理学之间的密切互动奠定了基础。作者认为，AI从业者可从人类社会学习中汲取灵感，构建出适应当下人类伙伴的具身智能体，并保护好隐私。此外，能社会学习的AI智能体或为研究人类文化能力发展提供新的建模工具。

论文链接：