VR-Robo：视觉机器人导航和运动的Real-Sim-Real框架

编辑：陈萍萍的公主@一点人工一点智能

地址：https://mp.weixin.qq.com/s/Mlik8mEHYSb2XmJXqXlKNQ

本文介绍了一种名为VR-Robo的框架，该框架能够为视觉导航和机器人运动学习提供真实感强、物理交互性强的数字孪生仿真环境。该方法利用多视图图像进行基于3DGS的场景重建，并将这些环境整合到支持自我中心视觉感知和网格基物理交互的模拟器中。

实验结果表明，该框架可以实现RGB仅有的仿真到现实策略转移，并且能够快速适应复杂新环境中的机器人策略，具有广泛的应用前景。

01 论文方法

1.1 方法描述

该论文提出了一种名为VR-Robo的系统，旨在通过将真实世界场景转换为物理交互式的仿真环境来训练机器人。其主要流程包括：

1）使用多视图重建技术从真实场景中重建出高质量的三维模型。

2）将重建的三维模型与Isaac Sim等仿真平台相结合，创建具有高保真度且可进行物理交互的仿真环境。

3）在仿真环境中使用强化学习算法训练机器人的策略，使其能够完成目标跟踪任务，并在复杂环境下保持稳定的行为。

其中，对于三维模型的重建过程，采用了基于3D Gaussian Splatting（3DGS）的技术，以提高几何形状的一致性和精度。此外，还引入了坐标系校准、物体随机化以及碰撞检测等技术手段，进一步提高了仿真环境的真实感和可靠性。

1.2 方法改进

相比于传统的单视角重建技术和简单的平面渲染技术，VR-Robo采用了多视图重建技术和高度逼真的三维建模技术，从而显著提高了仿真环境的质量和真实性。同时，引入了多种技术手段，如物体随机化、碰撞检测等，使得机器人能够在复杂的环境中更好地适应和学习。

1.3 解决的问题

VR-Robo的主要目标是帮助机器人在复杂的现实环境中进行自主导航和目标跟踪任务。通过将真实世界的场景转换为高保真度的仿真环境，可以降低实际操作中的风险和成本，同时也提供了更多实验条件和数据来源，有利于机器人在更广泛的场景下进行学习和优化。因此，VR-Robo解决了传统机器人训练中面临的一些挑战，如环境复杂性、实验成本高等问题。

02 论文实验

本文主要介绍了作者通过构建两个真实到模拟环境来验证VR-Robo的有效性，并设计了两个方面的实验：

一是重建现实和交互式仿真环境的能力，支持视觉观察和网格互动的运动策略训练；二是部署到现实世界时最小化仿真与现实之间的差距。

在实验中，作者使用iPads或iPhone拍摄照片来重构室内场景，并在Isaac Sim上进行低级和高级策略的训练。然后将策略部署到Uni-tree Go2四足机器人上，并使用ROS2进行通信。最后，在模拟和现实环境中进行了各种基准实验和探索实验，以验证VR-Robo的效果。

在模拟实验中，作者比较了不同的方法并进行了ablation实验。其中，imitation learning（IL）方法由于缺乏数据样本和策略探索而表现不佳。深度政策无法区分不同颜色的锥形物，因此不能有效地训练，行为类似于随机动作。纹理网格无法生成真实的图像，CNN编码器难以从图像中提取精确的特征。这些结果证实了VR-Robo在多样化实验设置中的有效性和鲁棒性。

在现实世界实验中，作者还比较了两种特定于现实世界的基准方法：SARO和w/o domain randomization。

SARO能够利用视觉语言模型（VLM）使机器人能够在三维地形上导航，但在中等难度和困难任务上的成功率较低。这主要是因为缺乏历史上下文和复杂情况下的有限探索能力。如果机器人一开始看不到目标，则不太可能成功。此外，没有域随机化显著降低了SARO的有效性，主要是由于RGB仅观察到的大仿真与现实之间的差距。

在VR-Robo方面，作者实现了最高的成功率和最短的平均到达时间，证明了其效率和鲁棒性。此外，作者还进行了各种条件下的定性实验，包括不同颜色的目标锥体、光照条件的变化、不同的场景、随机干扰、背景变化以及在Unitree G1人形机器人上进行训练。这些实验展示了VR-Robo的适应性，可以在广泛的环境和条件下工作。

03 方法创新点

该论文的主要创新点在于提出了VR-Robo系统，实现了机器人在仿真环境与真实世界之间的快速转换。此外，该系统还采用了以下创新点：

1）使用了深度强化学习算法：VR-Robo使用深度强化学习算法来训练智能体，在仿真环境中实时调整策略以适应不同的任务需求。

2）通过视觉感知与物理交互相结合的方式提高学习效率：VR-Robo将视觉感知与物理交互相结合，使得智能体能够更好地理解周围环境并作出相应的动作。

04 未来展望

尽管VR-Robo已经取得了一定的研究成果，但仍然存在一些挑战需要克服。未来研究可以从以下几个方面展开：

1）提高模拟环境的真实度：进一步提高仿真环境的真实度，以便更准确地模拟真实世界中的情况。

2）加强多模态信息融合的能力：将其他传感器的信息（如声音、触觉等）融入到学习过程中，提高机器人的综合感知能力。

3）拓展适用范围：将VR-Robo应用于更多领域，如医疗、农业等，探索其在实际应用中的潜力。