在机器人技术的前沿探索中,一款名为AgiBot Digital World的大型仿真框架横空出世,由智元机器人团队自主研发并正式对外发布。该框架旨在为机器人操作技能的研发与应用提供一套灵活高效的仿真数据生成方案,以及一个统一且严谨的模型评测标准。
AgiBot Digital World精心构建了一个庞大且逼真的三维资产库,涵盖了多样化的物体、场景和机器人模型。这些资产通过精细的人工建模、先进的三维重建技术以及前沿的生成式人工智能技术转化而来,确保了仿真环境能够高度还原真实世界的复杂性与多样性。无论是家居、商超、办公、餐饮还是工业场景,AgiBot Digital World都能提供详尽且逼真的模拟训练环境。
借助NVIDIA Isaac-Sim仿真平台,AgiBot Digital World实现了视觉渲染与物理模拟的高度逼真。光影效果自然流畅,物体的物理属性也得到了精准模拟。例如,当机器人在仿真环境中移动物体时,物体的晃动、碰撞等物理效应都表现得淋漓尽致,极大地增强了仿真环境的真实感。
更为先进的是,AgiBot Digital World引入了多模态大模型技术,能够根据实际需求自动生成操作任务、操作场景以及物体布局。这一功能使得仿真任务的创建变得灵活多变,能够轻松应对各种复杂度和多样性的训练需求。同时,系统还能够根据当前环境自动调用资产库补充物体或切换场景,确保了仿真环境的完整性和真实性。
在数据生成方面,AgiBot Digital World提供了多元化的专家轨迹生成策略。通过真机操作数字孪生、具身智能体自动生成以及仿真遥操作等方式,系统能够高效地生成丰富多样的专家轨迹数据。这些数据不仅具有多样性和鲁棒性,还能够为数据增广提供宝贵的专家示例轨迹。同时,数据生成引擎还支持多模态数据的采集与处理,包括多视角RGB-D图像、触觉信息以及机器人状态信息等,为策略学习提供了全面的数据支持。
为了进一步推动机器人技术的发展与应用,智元机器人还开源了海量的仿真数据集AgiBot Digital World Dataset。该数据集涵盖了五大场景、180多种具体物品、9种常见材质以及12种核心技能。这些数据具有高质量、高泛化性、任务多样性以及应用灵活性等特点,能够为各类场景应用提供坚实的开发基础和广泛的应用可能性。通过开源这些数据集,智元机器人有望降低行业研发门槛,加速具身智能技术的开发与应用进程。
领取专属 10元无门槛券
私享最新 技术干货