利用无线电信号赋予机器人惊人的视觉

在开发机器人稳健感知系统的竞赛中，一个持续的挑战是在恶劣天气和恶劣条件下运行。例如，传统的基于光的视觉传感器（如摄像头或LiDAR光检测和测距）在浓烟和浓雾中会失效。

然而，大自然已经证明，视觉并不受光的限制——许多生物已经进化出不依赖光来感知周围环境的方法。蝙蝠利用声波的回声来导航，而鲨鱼则通过感知猎物运动产生的电场来捕猎。

无线电波的波长比光波长几个数量级，可以更好地穿透烟雾，甚至可以看穿某些物质——所有这些能力都超出了人类视觉的范围。然而，机器人传统上依赖的工具有限：它们要么使用摄像头和激光雷达，它们可以提供详细的图像，但在具有挑战性的条件下会失效，要么使用传统雷达，它可以看穿墙壁和其他遮挡物，但会产生粗糙、低分辨率的图像。

现在，宾夕法尼亚大学工程与应用科学学院的研究人员开发出了PanoRadar，这是一种新工具，它可以将简单的无线电波转换成环境的详细3D视图，从而赋予机器人超人的视觉。

“我们最初的问题是，我们能否将两种传感方式的优点结合起来。”计算机与信息科学助理教授赵明敏（音）说，“无线电信号的稳健性（能够抵御雾和其他具有挑战性的条件）和视觉传感器的高分辨率。”

在即将于2024年国际移动计算和网络会议(MobiCom)上发表的一篇论文中，赵教授和他来自无线、音频、视觉和传感电子(WAVES)实验室和宾夕法尼亚大学嵌入式计算和集成系统工程研究中心(PRECISE)的团队，包括博士生Lai Haowen、刚毕业的硕士研究生Luo Gaoxiang和本科研究助理Liu Yifei(Freddy)，描述了PanoRadar如何利用无线电波和人工智能(AI)让机器人能够在最具挑战性的环境中导航，例如烟雾弥漫的建筑物或雾蒙蒙的道路。

PanoRadar是一种传感器，其工作原理类似于灯塔，它以圆形扫视光束来扫描整个地平线。该系统由一个旋转的垂直天线阵列组成，用于扫描周围环境。当它们旋转时，这些天线会发出无线电波并监听来自环境的反射，就像灯塔的光束揭示船只和沿海特征的方式一样。

得益于人工智能的强大功能，PanoRadar超越了这种简单的扫描策略。与旋转时照亮不同区域的灯塔不同，PanoRadar巧妙地结合了所有旋转角度的测量值，以提高其成像分辨率。虽然传感器本身的成本仅为通常昂贵的LiDAR系统成本的一小部分，但这种旋转策略会创建密集的虚拟测量点阵列，从而使PanoRadar能够实现与LiDAR相当的成像分辨率。“关键的创新在于我们如何处理这些无线电波测量值。”赵解释说，“我们的信号处理和机器学习算法能够从环境中提取丰富的3D信息。”

赵教授团队面临的最大挑战之一是开发算法，以便在机器人移动时保持高分辨率成像。论文第一作者赖教授解释说：“为了通过无线电信号实现与LiDAR相当的分辨率，我们需要结合来自许多不同位置的测量结果，精度达到亚毫米级。当机器人移动时，这尤其具有挑战性，因为即使是很小的运动误差也会严重影响成像质量。”

该团队面临的另一个挑战是教会他们的系统理解它所看到的东西。“室内环境具有一致的模式和几何形状。”罗说，“我们利用这些模式帮助我们的人工智能系统解释雷达信号，就像人类学习理解他们所看到的东西一样。”在训练过程中，机器学习模型依靠激光雷达数据来检查其对现实的理解，并能够继续自我改进。

“我们在不同的建筑物中进行的现场测试表明，无线电传感技术在传统传感器难以胜任的地方表现出色。”刘说，“该系统在烟雾中保持精确跟踪，甚至可以绘制有玻璃墙的空间。”

这是因为无线电波不易被空气中的颗粒阻挡，而且该系统甚至可以“捕捉”激光雷达无法捕捉的东西，比如玻璃表面。PanoRadar的高分辨率还意味着它可以准确地探测到人，这对于自动驾驶汽车和危险环境中的救援任务等应用来说是一个关键特性。

展望未来，该团队计划探索PanoRadar如何与其他传感技术（如摄像头和激光雷达）协同工作，为机器人打造更强大的多模式感知系统。该团队还在扩大测试范围，将各种机器人平台和自动驾驶汽车纳入其中。赵教授说：“对于高风险任务，拥有多种感知环境的方式至关重要，每种传感器都有其优点和缺点，通过智能地组合它们，我们可以创造出更有能力应对现实世界挑战的机器人。”