封面:英伟达
CyberDaily:
全然躬身入局的英伟达,就差打造自己的人形机器人
全球人形机器人厂商们正加快开发与商业化落地,迈向1000个、10000个规模化部署的里程碑。为推动这一进程,昨日在丹佛举行的 SIGGRAPH 大会上,NVIDIA宣布为全球领先的机器人制造商、AI模型开发者和软件制造商提供一系列服务、模型和计算平台,以机器人和人工智能设计师开发、训练和构建下一代人形机器人。
NVIDIA NIM与OSMO:加速开发流程,从几个月缩短到不到一周
NVIDIA推出了新的NIM微服务和框架,用于机器人模拟和学习。这些微服务提供由NVIDIA推理软件驱动的预构建容器,使开发者能够将部署时间从几周缩短到几分钟。NIM微服务包括MimicGen和Robocasa,它们分别基于空间计算设备(如Apple Vision Pro)记录的遥控操作数据生成合成运动数据,以及在OpenUSD中生成机器人任务和模拟就绪的环境。两个新的 AI 微服务将允许机器人专家增强NVIDIA Isaac Sim 中生成物理 AI的模拟工作流程,这是一个基于NVIDIA Omniverse 平台构建的机器人模拟参考应用程序。
NVIDIA OSMO则是一个云原生托管服务,允许用户跨分布式计算资源编排和扩展复杂的机器人开发工作流程,无论是在本地还是在云端。OSMO 极大地简化了机器人训练和模拟工作流程,将部署和开发周期时间从几个月缩短到一周以下。用户可以可视化和管理一系列任务,例如生成合成数据、训练模型、进行强化学习以及为人形机器人、自主移动机器人和工业机械手大规模实施软件在环测试。
数据捕获工作流程的进步,生成合成数据集训练人形机器人模型
训练人形机器人的基础模型需要大量的数据。NVIDIA在SIGGRAPH计算机图形会议上展示的AI和Omniverse支持的遥操作参考工作流程,允许研究人员和AI开发者从少量远程捕获的人类演示中生成大量合成运动和感知数据。
开发者首先使用Apple Vision Pro捕获少量遥控演示,然后在NVIDIA Isaac Sim中模拟这些记录,并使用MimicGen NIM微服务从记录中生成合成数据集。接着,他们使用真实和合成数据训练Project GR00T人形基础模型,使开发者能够节省时间和降低成本。然后,他们在Isaac Lab中使用Robocasa NIM微服务生成经验,以重新训练机器人模型。在整个工作流程中,NVIDIA OSMO无缝地将计算作业分配给不同的资源,为开发者节省了数周的行政任务。
1x、Boston Dynamic、字节等全球大厂,至少5家中国公司在用
NVIDIA提供了三个计算平台,以简化人形机器人的开发:用于训练模型的NVIDIA AI超级计算机;在Omniverse上构建的NVIDIA Isaac Sim,机器人可以在模拟世界中学习和完善技能;以及用于运行模型的NVIDIA Jetson Thor人形机器人计算机。开发者可以根据自己的特定需求访问和使用所有或任何部分的平台。
通过新的NVIDIA人形机器人开发者计划,开发者可以提前获得新服务以及NVIDIA Isaac Sim、NVIDIA Isaac Lab、Jetson Thor和Project GR00T通用人形基础模型的最新版本。
目前包括1x、Boston Dynamics、ByteDance Research(中国)、Field AI、Figure、Fourier(傅利叶,中国)、Galbot(银河通用,中国)、LimX Dynamics(逐际动力,中国)、Mentee、Neura Robotics、RobotEra(星动纪元,中国)和Skild AI在内的公司是最早加入早期访问计划。
后记
全球人形机器人厂商一面加速人形机器人训练,一面寻找应用场景落地,提前构建商业化闭环,在面对数据、硬件、应用等多重挑战,英伟达从ChatGPT发布以来,不仅在卖铲子,还躬身入局,从GPU、AI服务与计算平台、AI合成数据、到机器人训练、人形机器人通用模型等基础设施和应用服务层面,全面布局。赢得市场的投票,跻身3万亿美金市值俱乐部,同时也成为具身智能的最大推动者之一。
参考引用资料
One more thing
推荐您订阅CyberRobo,这不是一个严格意义的人形机器人社群。
订阅前,你还可以先看
领取专属 10元无门槛券
私享最新 技术干货