首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

智元机器人开源仿真框架AgiBot,光影震颤,海量数据集助力机器人技能提升

在机器人技术的前沿探索中,一款名为AgiBot Digital World的大型仿真框架近日由智元机器人公司隆重推出。该框架专为机器人操作技能的研究与应用量身打造,旨在通过灵活的仿真数据生成方案、大规模预训练数据及统一的模型评测标准,为机器人操作技能的进步提供强有力的支持。

AgiBot Digital World集成了海量的三维资产,这些资产不仅种类繁多,而且细节精致,能够满足各种复杂机器人操作任务的仿真需求。从逼真的物体模型到多样化的场景设置,再到精细的机器人模型,这些资产共同构建了一个高度真实的仿真世界。该框架还提供了多样化的专家轨迹生成机制和全面的模型评估工具,进一步提升了仿真效果。

AgiBot Digital World在视觉渲染和物理模拟方面均达到了高度逼真的水平。基于NVIDIA Isaac-Sim仿真平台,它能够呈现出光影自然、细节真实的仿真情景,使得仿真与真实世界之间的域差异大大减小。同时,该框架还能模拟出真实世界的物理效应,如物体间的碰撞、晃动等,进一步增强了仿真的真实感。

除了逼真的仿真效果外,AgiBot Digital World还引入了多模态大模型,支持基于资产库自动生成操作任务和场景布局。这一功能使得用户可以根据实际训练需求,灵活创建多样化、复杂度可调的仿真任务与仿真环境,从而实现了数据的闭环。例如,在书房场景中,如果机器人需要从桌面任务转向书架上的立面操作,系统可以一键生成取书任务,并自动捕捉到环境中的书架。

在数据生成方面,AgiBot Digital World提供了多元化专家轨迹生成策略。这些策略包括真机操作数字孪生、具身智能体自动生成以及仿真遥操作等。通过这些策略,该框架能够生成具有多样性和鲁棒性的专家轨迹数据,从而增强模型在真实环境中的泛化能力。同时,数据生成引擎还支持多模态数据的生成,包括多视角RGB-D图像、触觉信息、机器人状态信息等,为策略学习提供了丰富的数据支持。

此次,智元机器人还开源了海量规模的仿真数据集AgiBot Digital World Dataset。该数据集涵盖了家居、商超、办公、餐饮和工业等五大场景,包含了超过180种具体物品和9种主要材质。数据集还囊括了12种核心技能,如抓、放、插、倒等,能够灵活应对各种任务。这些高质量的仿真数据为机器人操作技能的训练提供了坚实的基础,并有望降低行业研发门槛,加速具身智能的开发和应用。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/OnBvresAyaam6uxNh9WJ2ITw0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券