每日论文速递 | Agent控制电脑！用多模态Agent玩荒野大镖客！

深度学习自然语言处理 分享 整理：pp

摘要：最近的研究已经证明了基础代理在特定任务或场景中的成功。然而，现有的代理无法在不同的场景中进行泛化，主要是由于它们的观察和行动空间的多样性以及语义差距，或者依赖于特定任务的资源。在这项工作中，我们提出了通用计算机控制（GCC）设置：构建基础代理，它们可以通过仅以计算机的屏幕图像（可能还包括音频）作为输入，并产生键盘和鼠标操作作为输出，类似于人机交互，从而掌握任何计算机任务。为了针对GCC，我们提出了Cradle，一个具有强大推理能力的代理框架，包括自我反思、任务推理和技能培养，以确保在各种任务中具有泛化能力和自我提升能力。为了展示Cradle的能力，我们将其部署在复杂的AAA游戏《荒野大镖客II》，作为朝着GCC迈出的一次初步尝试，这是一个具有挑战性的目标。我们的代理可以在这款复杂的AAA游戏中按照主线剧情进行，并完成真实任务，几乎不依赖于先前的知识和应用特定资源。

https://arxiv.org/abs/2403.03186

Q1: 这篇论文试图解决什么问题？

A：这篇论文提出了一个名为CRADLE的框架，旨在解决通用计算机控制（General Computer Control, GCC）的问题。GCC的目标是构建能够掌握任何计算机任务的基础代理（agents），这些代理仅通过计算机的屏幕图像（以及可能的音频）作为输入，并产生键盘和鼠标操作作为输出，类似于人类与计算机的交互。主要挑战包括：

1. 多模态观察：代理需要处理和理解来自不同模态（如图像、文本和音频）的信息，以便做出更好的决策。
2. 精确控制：代理需要能够准确地控制键盘和鼠标操作，以与计算机交互。
3. 长期记忆和推理：由于GCC任务的部分可观察性，代理需要有长期记忆来存储过去的经验，并利用这些经验来解决新任务。
4. 高效探索和自我改进：代理需要能够以结构化的方式高效探索环境，自主发现更好的策略和解决方案，实现自我改进。

为了解决这些挑战，CRADLE框架引入了强大的推理能力，包括自我反思、任务推理和技能策划，以确保在各种任务中的泛化能力和自我改进。论文通过在复杂的AAA级游戏《Red Dead Redemption II》（RDR2）中部署CRADLE，展示了其在GCC设置下的能力，这是首次尝试在没有先验知识的情况下，使基于大型多模态模型（LMM）的代理完成复杂AAA游戏中的主要故事情节和真实任务。

Q2: 有哪些相关研究？

A：这篇论文提到了多个与通用计算机控制（GCC）相关的研究领域和具体工作，主要包括：

1. 基于大型语言模型（LLM）的代理：这些代理利用多模态大型模型和先进工具来执行特定任务或场景，例如在网页浏览、移动应用操作、Minecraft游戏以及一些机器人场景中的应用。这些研究展示了LLM在特定任务中的潜力，但也指出了它们在泛化到不同任务时的局限性。
2. 决策制定在视频游戏中：视频游戏被认为是验证代理各种能力的理想的环境，因为它们具有多样性、可控性、安全性和可复现性。例如，Atari游戏、Super Mario Bros、Google Research Football、StarCraft II、Minecraft等都曾作为强化学习（RL）代理的基准测试环境。这些研究通常简化了整个动作空间，以适应预定义的领域特定动作，这限制了RL代理在不同环境间的泛化能力。
3. 计算机任务的LLM代理：一些研究尝试将LLM代理应用于各种复杂的视频游戏，如Minecraft、Starcraft II和Civilization-like游戏。这些研究通常依赖于内部API和预定义的语义动作，这限制了它们在其他游戏或网站上的泛化能力。
4. 视频预训练（VPT）：VPT通过观看未标记的在线视频来学习行动，它能够在没有额外信息的情况下，仅通过原始屏幕截图作为输入，输出鼠标和键盘控制。然而，收集带有动作标签的视频既耗时又昂贵，难以泛化到多个环境。

其他相关工作：论文还提到了一些尝试将Web代理扩展到更多应用的研究，这些研究主要关注静态网站和软件，忽略了相邻屏幕截图之间的动态变化，即动画，以及没有考虑按键持续时间和不同鼠标模式的不完整动作空间。

总的来说，这些相关研究为CRADLE框架的开发提供了背景和动机，同时也揭示了现有方法在泛化能力和复杂任务处理方面的局限性。CRADLE框架试图通过引入自我反思、任务推理和技能策划等强大的推理能力来克服这些挑战。

Q3: 论文如何解决这个问题？

A：论文通过提出CRADLE（Computer-augmented Reasoning and Decision-making with Long-term memory and Episodic memory）框架来解决通用计算机控制（GCC）的问题。CRADLE框架的设计旨在使代理能够处理多模态输入，进行有效的决策制定，并在没有特定API的情况下与计算机任务交互。以下是CRADLE框架解决GCC问题的关键组成部分：

1. 多模态输入处理：CRADLE框架能够处理来自计算机屏幕的视频（一系列屏幕截图）作为输入，并产生键盘和鼠标操作作为输出。这与人类用户与计算机交互的方式相匹配。
2. 推理模块：CRADLE包含自我反思、任务推理、技能策划和动作规划等模块，这些模块使代理能够处理不完全信息和语义差距，并做出决策。

• 自我反思：评估上一次执行的动作是否成功，并分析失败的原因，以便调整策略。
• 任务推理：分析当前情况，推断当前最合适的任务。
• 技能策划：准备完成任务所需的策略，包括检索有用的技能、更新技能或生成新技能。
• 动作规划：选择合适的技能并实例化为可执行的动作序列。

1. 记忆模块：CRADLE包含情景记忆和程序记忆，用于存储和维护代理从环境和大型语言模型（LLM）输出中获取的所有有用信息。
2. 环境交互：CRADLE能够通过键盘和鼠标操作与计算机环境进行交互，这些操作是通过LLM生成的代码函数实现的。
3. 信息收集：CRADLE能够从视频观察中提取文本和视觉信息，包括内容、导航标签、通知、指令以及布局、图像、动画和UI元素。
4. 动作执行：CRADLE能够将LLM生成的动作映射到操作系统级别的键盘和鼠标命令，以与环境交互。
5. 技能和动作生成：CRADLE使用LLM生成代码函数作为语义级别的技能，这些技能封装了低级别的键盘和鼠标控制。

通过这些组件，CRADLE框架能够在没有特定API的情况下，理解和解释计算机屏幕和动态变化，并生成合理的计算机控制动作。论文中通过在《Red Dead Redemption II》（RDR2）这款游戏中部署CRADLE，展示了其在GCC设置下的能力，这是首次尝试在没有先验知识的情况下，使基于LMM的代理完成复杂AAA游戏中的主要故事情节和真实任务。

Q4: 论文做了哪些实验？

A：论文中进行了一系列实验来评估CRADLE框架在通用计算机控制（GCC）设置下的性能，特别是在复杂AAA级游戏《Red Dead Redemption II》（RDR2）中的应用。以下是主要的实验内容：

1. 任务选择：实验选择了RDR2游戏中的主线任务和开放世界任务，以测试CRADLE框架在不同难度和复杂性的任务中的表现。这些任务包括骑马、跟随NPC、探索房屋、选择武器、与敌人和狼战斗等。
2. 观察和动作空间：代理严格遵循GCC设置，以屏幕视频作为输入，并输出键盘和鼠标操作。为了降低与主模型的交互频率，视频录制器每0.5秒捕获一次游戏截图。
3. 案例研究：论文提供了几个案例研究，深入讨论了CRADLE框架的能力和GCC设置的挑战。这些案例包括自我反思、技能策划、动作执行和反馈等。
4. 定量评估：为了展示CRADLE框架中不同模块的有效性和重要性，论文在RDR2的七个代表性任务上评估了框架的性能，并与两个类似消融的基线进行了比较：没有自我反思的CRADLE和没有任务推理的CRADLE。
5. GPT-4V的局限性：在RDR2这样的复杂游戏中部署CRADLE，揭示了GPT-4V在处理多模态输入时的一些局限性，如空间感知、图标理解、历史处理和世界理解等。
6. 性能对比：实验结果表明，CRADLE在完成主线任务和开放世界任务方面表现出色，尤其是在没有自我反思或任务推理模块的情况下，性能显著下降，这证明了这些模块在框架中的重要性。
7. 开放世界任务：除了主线任务外，CRADLE还在开放世界环境中进行了评估，例如执行“购买补给”任务，这要求代理在没有游戏内指导的情况下分析并提出完成任务的可行方案。

这些实验展示了CRADLE框架在处理复杂游戏环境中的通用性和适应性，同时也揭示了在实际应用中可能需要进一步改进的领域。

Q5: 有什么可以进一步探索的点？

A：尽管CRADLE框架在通用计算机控制（GCC）方面取得了显著进展，但仍有许多领域可以进一步探索和改进：

多模态输入处理：研究如何更有效地处理和整合来自不同模态（如图像、文本、音频）的信息，以提高决策质量和代理的适应性。

动作执行的精确性：提高代理在执行复杂动作时的精确度，特别是在动态和实时环境中，如视频游戏。

长期记忆和世界建模：探索如何更有效地利用长期记忆来存储和检索过去经验，以及如何构建和维护一个世界模型，以便更好地理解和预测环境动态。

自我改进和学习：研究如何使代理能够从经验中学习并自我改进，特别是在面对新任务和挑战时。

泛化能力：提高CRADLE框架在不同类型软件和游戏之间的泛化能力，使其能够适应更广泛的应用场景。

实时交互：优化代理与环境的交互速度，以适应需要快速响应的实时应用，如在线游戏和实时策略游戏。

用户交互和界面：研究如何改善代理与用户的交互，提供更直观的用户界面和更自然的交互方式。

鲁棒性和容错能力：增强代理在面对不确定性、错误输入或意外情况时的鲁棒性和容错能力。

伦理和安全性：考虑代理在执行任务时的伦理问题，确保其行为符合道德标准，并且不会对用户或环境造成潜在风险。

跨领域应用：将CRADLE框架应用于其他领域，如自动驾驶、机器人控制、智能家居等，以验证其在不同环境中的适用性和有效性。

开源和社区贡献：考虑将CRADLE框架开源，鼓励社区参与，共同推动GCC技术的发展。

硬件加速：研究如何利用专门的硬件加速技术，如GPU和TPU，来提高CRADLE框架的计算效率。

这些探索点不仅有助于提升CRADLE框架的性能，也有助于推动人工智能在更广泛领域的应用和发展。

Q6: 总结一下论文的主要内容？

A：这篇论文提出了一个名为CRADLE的框架，旨在解决通用计算机控制（GCC）的问题。GCC的目标是创建能够通过屏幕图像和音频输入，执行键盘和鼠标操作输出的基础代理，以实现类似人类的计算机交互。主要挑战包括多模态观察、精确控制、长期记忆和推理、以及高效探索和自我改进。为了应对这些挑战，CRADLE框架引入了自我反思、任务推理和技能策划等推理能力，以确保在各种任务中的泛化和自我改进能力。

CRADLE框架的核心组成部分包括：

• 环境输入输出（IO）：处理来自屏幕的视频输入，并产生键盘和鼠标控制命令。
• 推理模块：包括自我反思、任务推理、技能策划和动作规划，用于决策和行动选择。
• 记忆模块：包括情景记忆和程序记忆，用于存储和检索经验信息和技能。

为了验证CRADLE框架的能力，作者将其应用于《Red Dead Redemption II》（RDR2）这款游戏中，这是首次尝试在没有先验知识的情况下，使基于大型多模态模型（LMM）的代理完成复杂AAA游戏中的主要故事情节和真实任务。实验结果表明，CRADLE在完成游戏任务方面表现出色，尤其是在没有自我反思或任务推理模块的情况下，性能显著下降，这证明了这些模块在框架中的重要性。

论文还讨论了GPT-4V在空间感知、图标理解、历史处理和世界理解方面的局限性，并提出了未来工作的方向，包括扩展CRADLE框架以支持更广泛的游戏和软件应用，以及整合音频输入以满足GCC设置。此外，还提出了改进代理性能的其他潜在方法，如提高空间感知能力、优化动作执行的精确性、增强长期记忆和世界建模、提高泛化能力等。

以上内容均由KimiChat生成，深入了解论文内容仍需精读论