在2025年台北国际电脑展(COMPUTEX)上,NVIDIA 宣布对其机器人仿真应用程序Isaac Sim 和机器人学习框架Isaac Lab进行重大升级,旨在加速全形态机器人的开发进程。作为构建物理智能(Physical AI)的核心工具链,本次更新围绕传感器物理仿真增强、系统开放性与定制化、合成数据生成能力扩展及模型基准测试体系四大维度展开,为工业自动化、服务机器人、人形机器人等领域提供了从仿真设计到模型训练的全流程优化方案。
开源架构与企业级支持
Isaac Sim 5.0 基于NVIDIA Omniverse平台和OpenUSD标准构建,首次实现核心代码开源(即将在 GitHub 发布),允许用户根据特定需求定制仿真场景,例如合成数据生成(SDG)和软件在环(SITL)测试。对于企业用户,NVIDIA 提供 Omniverse Enterprise 许可证,支持底层Omniverse Kit的深度定制与商业再分发,满足工业级仿真的严苛要求。
NVIDIA Brev云原生部署的效率革命
通过集成NVIDIA Brev平台,开发者可直接调用主流云服务商的GPU实例,实现Isaac Sim 的一键式启动。用户可灵活选择实例类型与端口配置,无需关注基础设施搭建,显著缩短开发周期。这种 “即开即用” 的模式尤其适合中小型团队和学术研究机构,降低了机器人仿真的技术门槛。
合成数据生成(SDG)全面升级:从运动到场景的全维度覆盖
1.MobilityGen:运动数据的工业化生产 作为 Isaac Sim 的扩展模块,MobilityGen 专注于生成高质量运动数据,涵盖 occupancy 地图、机器人位姿、速度等多模态信息。其优势在于:
多样化数据采集模式:支持遥控操作、自动化脚本驱动及自定义路径规划;
跨平台兼容性:生成的训练数据可直接用于自动驾驶小车、四足机器人及人形机器人的导航模型训练;
真实场景复现:结合物理引擎模拟复杂地形(如湿滑路面、障碍物),提升模型泛化能力。
通过支持远程操作、自动动作序列和自定义路径规划,该工具可模拟双足机器人行走、四足机器人越障等复杂动态场景。值得关注的是,NVIDIA 利用 MobilityGen 生成的数据训练出 X-Mobility 模型,这是一种端到端的通用导航模型,证明了合成数据在实际应用中的有效性。
2.物理空间场景仿真:从静态到动态的突破 为提升机器人在复杂环境中的感知能力,Isaac Sim 新增多个扩展模块:
3. 与 Cosmos 世界基础模型的深度协同 通过优化 Omniverse Replicator 的数据输出格式,Isaac Sim 生成的合成数据可直接输入 NVIDIA Cosmos Transfer 等世界基础模型(WFM),提升数据的 photorealism(照片级真实感)。这种集成支持独立工作流和脚本编辑器,开发者可无缝将合成数据融入现有训练 pipeline,减少数据预处理成本。
传感器与执行器的物理级仿真
1. 深度传感器噪声建模 Isaac Sim 引入通用深度图噪声模型,可模拟立体相机的真实噪声特性(如图 2 所示)。通过调整噪声参数(如高斯噪声、椒盐噪声),生成的深度图像与真实传感器数据高度吻合,显著提升视觉模型在仿真到真实(Sim2Real)迁移中的鲁棒性。
2.执行器模型的工业级校准 与 Hexagon Robotics、maxon 等厂商合作,Isaac Sim 新增基于 OpenUSD 模式的关节摩擦模型,支持从电机 datasheet 直接导入参数(如粘滞摩擦、库仑摩擦)。这种精确建模使仿真中的关节运动与真实硬件行为一致,缩短强化学习策略从仿真到物理机器人的部署周期,尤其适用于需要高动态响应的抓取、行走等任务。
标准化接口与跨平台通信
1.ROS 2 接口的统一化 联合 Robotec.ai、Gazebo、Open 3D Engine 等生态伙伴,Isaac Sim 推出标准化 ROS 2 仿真接口,解决了不同仿真器与 ROS 2 通信协议不一致的痛点。开发者可通过统一接口控制多种仿真环境,实现算法在 Isaac Sim 与其他平台(如 Gazebo)之间的无缝迁移。
2.ZMQ 桥接:超越 ROS 的高速通信 自 4.5 版本引入的 ZMQ 桥接模块支持与外部应用的双向高速通信,适用于摄像头数据流传输、真值数据交换等场景。该功能不仅支持软件在环测试,还可扩展至边缘设备的硬件在环(HIL)测试,为实时控制算法的开发提供了灵活的通信渠道。
GR00T N 系列模型的基准测试体系
作为 NVIDIA 机器人基础模型(RFM)的核心,GR00T N 系列模型(如 N1)首次在 Isaac Lab 2.2 中引入闭环基准测试脚本。开发者可直接加载预构建环境(如螺母分拣、管道排序),对模型的操作精度、环境适应性进行量化评估。
支持 LeRobot 数据格式转换,将 GR00T 蓝图生成的合成操作数据用于模型训练后处理,形成 “仿真生成数据 - 训练 - 再验证” 的闭环流程。
GR00T-Mimic:从双足操作到复杂任务的拓展
基于 2.1 版本引入的双足操作能力,2.2 版本新增预构建的 Fourier GR1 人形机器人环境。通过融合机器人第一视角视觉输入与关节状态数据,GR00T-Mimic 可高效采集合成运动数据,用于训练多指抓取、物体装配等精细操作策略。配套提供的样本数据、脚本和模型检查点,进一步降低了基础模型的微调门槛。
Omniverse Fabric 的性能优化
借助 Omniverse Fabric 库,Isaac Lab 实现了场景数据的高性能查询与传输。通过数据索引和按需加载机制,物理仿真与传感器数据采集可与用户交互并行运行,显著提升大场景下的加载速度和扩展性。例如,在包含数百个物体的工厂环境中,仿真帧率可提升30%以上,同时支持跨网络的多节点协同仿真。
张量化吸盘抓取:从单点控制到批量操作
针对工业机械臂的吸盘抓取场景,Isaac Lab 改进了表面抓取器模型:
生态落地:从人形机器人到工业自动化
当前,Agility Robotics、Boston Dynamics、Fourier 等头部人形机器人厂商已采用Isaac Sim/ Lab 进行仿真验证。例如:
Fourier GR1 机器人通过 GR00T N1 模型实现复杂双操作任务;
XPENG Robotics 则利用合成数据训练自动驾驶与机器人交互的融合模型;
在工业领域,台系厂商如富士康、研华、台达等正基于 Isaac 工具链开发下一代 AI 机器人,覆盖电子制造、仓储物流等场景。
Skild AI 等创新企业则通过仿真框架构建通用机器人智能,探索跨形态机器人的算法迁移。
Isaac Sim 5.0 与 Isaac Lab 2.2 的发布,标志着 NVIDIA 在机器人领域从 “工具提供” 向 “生态构建” 的战略升级。通过开源化、云原生、标准化接口三大策略,NVIDIA 正在打破仿真工具的技术壁垒,推动机器人开发从 “定制化项目” 向 “工业化流水线” 转型。随着与 Cosmos 世界模型、Jetson 边缘计算平台的深度整合,这套工具链将进一步赋能 “仿真训练 - 边缘推理 - 实时控制” 的全栈物理智能架构,为通用机器人的商业化落地奠定基础。
关注我们的系列教程
扫码关注腾讯云开发者
领取腾讯云代金券
Copyright © 2013 - 2025 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号:粤B2-20090059 深公网安备号 44030502008569
腾讯云计算(北京)有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287
Copyright © 2013 - 2025 Tencent Cloud.
All Rights Reserved. 腾讯云 版权所有