NVIDIA Isaac ROS 3.2亮相ROSCon：生成式AI助力机器人智能提升

在丹麦奥登塞举办的ROSCon大会上，NVIDIA及其机器人生态系统合作伙伴为机器人操作系统（ROS）开发者宣布了生成式人工智能工具、仿真以及感知工作流。

此次发布的内容包括为部署在NVIDIA Jetson边缘AI与机器人平台上的ROS开发者提供的新生成式AI节点和工作流。生成式AI使机器人能够感知并理解其周围环境的上下文，与人类进行自然交流，并自主做出适应性决策。

生成式AI加入ROS社区

ReMEmbR，基于ROS 2构建，利用生成式AI来增强机器人的推理和行动能力。它结合了大型语言模型（LLMs）、视觉语言模型（VLMs）和检索增强生成，使机器人能够构建和查询长期语义记忆，并提高其导航和与环境互动的能力。

语音识别能力由WhisperTRT ROS 2节点提供支持。该节点使用NVIDIA TensorRT优化OpenAI的Whisper模型，以在NVIDIA Jetson上实现低延迟推理，从而实现响应迅速的人机交互。

带有语音控制的ROS 2机器人项目使用NVIDIA Riva ASR-TTS服务，使机器人能够理解和响应口头命令。美国宇航局喷气推进实验室独立展示了ROSA，这是一款为ROS设计的AI驱动代理，它在NASA的Nebula-SPOT机器人和NVIDIA的Nova Carter机器人上运行，并使用了NVIDIA Isaac Sim进行仿真。

在ROSCon上，Canonical展示了NanoOWL，这是一个在NVIDIA Jetson Orin Nano系统级模块上运行的零样本目标检测模型。它使机器人能够实时识别广泛的对象，而不依赖于预定义的类别。

开发者现在可以开始使用ROS 2的生成式AI节点，这些节点带来了针对NVIDIA Jetson优化的LLMs和VLMs，以增强机器人的能力。

NVIDIA Isaac ROS 3.2新功能详细介绍

NVIDIA Isaac ROS，基于开源的ROS 2软件框架构建，是一套专为机器人开发设计的加速计算包和AI模型套件。即将发布的3.2版本在机器人感知、操作以及环境映射方面实现了显著提升。

NVIDIA Isaac Manipulator的关键改进

在NVIDIA Isaac Manipulator方面，3.2版本引入了多项重要改进。其中，新增的参考工作流将FoundationPose和cuMotion进行了集成，这一创新举措极大地加速了机器人领域中拾取与放置（pick-and-place）以及对象跟随（object-following）管道的开发进程。这些工作流为开发者提供了高效、可靠的解决方案，使得机器人能够更快速、更准确地执行各种复杂任务。

NVIDIA Isaac Perceptor的新增功能

此外，NVIDIA Isaac Perceptor也迎来了重要更新。3.2版本中加入了一个新的视觉SLAM（即时定位与地图构建）参考工作流，这一功能增强了机器人在动态环境中的自主导航能力。同时，多摄像头检测与3D重建功能也得到了显著提升，这使得自主移动机器人（AMR）在如仓库等复杂环境中能够拥有更高的环境感知能力和更出色的性能表现。这些改进不仅提升了机器人的自主性和灵活性，还为其在各种应用场景中提供了更广泛的可能性。