远端MR视觉与遥操作系统在特殊环境下的实践案例分析

一、研究背景

随着探月技术、空间技术等的不断发展，在太空探索、深海作业、核辐射等无氧、高温、高压、强辐射以及一些存在化学腐蚀、粉尘的极端环境或密闭作业环境中迫切地需要机器人的参与，而全自主工作的智能机器人的应用目前还很难实现。因此，需要人工干预和机器人的配合来完成任务，这种情况下遥操作技术便可以满足我们的需求。

图1 遥操作应用场景

目前，机器人遥操作技术的研究已经成为机器人领域最受关注的研究方向之一。机器人遥操作技术可以实现让操作者通过在操作端发送指令，来控制作业端机器人完成场景作业，这样操作者不用到达和接触危险环境就可以实施目标任务。

遥操作技术通过与MR混合现实、双目立体视觉、力反馈等技术相结合，能够给操作者提供十分真实的临场体验，可以提高操作的精准程度、便捷程度和操作效率。

二、目前存在的问题

1、若是以传统相机传输的二维视频画面作为视景，操作者通过观看二维平面图像进行操作，无法形成立体视觉（又叫距离知觉或深度知觉），这会导致操作者无法准确判断作业端头与作业目标之间的空间距离，影响操作准确度和操作效率。

图2 无立体视觉

2、操作者无法感觉到作业端机器人/机械臂与操作对象之间的接触力学反馈，不能准确判断是不是已经有效接触，同样导致操作精度和操作效率不够高，还有误操作的风险。

图3 无接触触感(图片来自麻省理工)

三、设计思路

1、通过双目立体视觉实现对作业端的空间关系判断

我们在观看3D电影时，能够体验到空间深度和物体之间的相对位置感。这种距离感是通过特殊的拍摄技术和放映设备实现的，使得画面中的物体看起来具有真实的立体效果。

类似的技术可应用于遥操作领域，通过双目深度相机获取作业端图像，并对其进行进一步处理后传输至操作端的头显设备。操作人员佩戴头显设备时，双眼所见画面能够在其脑海中产生空间距离感，从而形成准确的空间认知。

（1）作业端的双目图像采集

为解决基于传统视频画面进行遥操作时无法形成立体视觉而难以准确判断与操作目标之间距离的问题，采用双目深度相机提供立体视觉。通过在场景中安装双目相机，实时捕捉任务图像，使操作者能够以立体化的视角感知操作目标的距离，从而高效、准确地完成操控任务。

图4 双目立体视觉

（2）操作端的双目立体成像

操作者佩戴MR设备，将双目相机采集的图像经图像增强算法增强后，通过MR头显显示，在MR头显中人眼可形成双目视差，从而使操作者产生立体视觉。

操作者沉浸到作业场景，通过操作端控制器远程控制作业端机器人/机械臂运动，作业端机器人/机械臂位于生产加工环境中，通过安装在末端的端头工具执行操控任务。

图5 MR混合现实

2、通过力反馈实现对接触状态的准确感知

触觉在人们的工作、生活中扮演着重要角色，在进行精细操作时，手指的触觉反馈帮助人们调整力度与角度。在传统无力反馈系统中，由于缺乏真实触觉信息，操作者往往需要依赖视觉来判断物体的位置和状态，这可能导致误判。如果在执行遥操作任务时，将作业端受到的力矩，准确、实时地反馈给操作端的操作人员，让操作人员手有所感，就能够降低操作难度，降低错误率并节省时间，实现更精准的操作。

（1）作业端力矩获取

通过选用带有力矩反馈的前端机械臂及作业端头，能够获取操作时产生的力度信息。应注意需要根据业务需求选择相应灵敏度，这是因为在医疗、制造或服务等不同领域，对灵敏度的要求可能会有所不同。例如，在医疗领域，机械臂需要具备高灵敏度，以便于进行微创手术；而在制造行业，则可能更注重稳定性与负载能力。因此，根据实际应用场景选择相应的灵敏度，可以确保机械臂在特定任务中发挥最佳性能。

（2）操作端的力矩反馈

采用可以接收和传递力矩反馈的操作端设备，可以将被操控对象所受力的信息反馈给操作者，使其能够感受到实际操作过程中的触觉体验。这一功能对于提高遥操作的精准度至关重要。

图6 力反馈

四、实践案例

基于和远科技某远端视觉与遥操作项目业务需求，构建一个由双目深度相机、力反馈系统、MR混合现实头显设备以及人和机器人之间的交互回路组成的综合系统，可以实现让操作者身临其境地进行精细的机器人遥操作。这一系统旨在解决当前一些遥操作平台所面临的问题，如缺乏真实感、交互性能不足以及操作效率低下等。

研究内容包括：

（1）双目立体视觉：双目相机图像采集与传输；

（2）MR混合现实：通过MR头显实现双目立体视觉、混合现实功能；

（3）力反馈：通过力反馈实现真实操作体感；

（4）机器人实时控制。

图7 研究内容

1、双目立体视觉

将双目相机安装固定于机器人顶部云台上，计算机接收其通过数据总线实时传输的图像，计算机对图像进行处理后，再将结果传输至MR头显中显示。同时，操作人员的头部和手部姿态通过MR设备实时检测并反馈给计算机，由计算机程序进一步处理，操作人员在操作端发出指令以控制作业端的机器人随动，并根据需要调整观察与操纵角度。

图8 双目立体视觉研究

2、MR混合现实

MR头显设备显示由双目深度相机采集的图像，操作人员通过观看MR头显显示的内容，可形成立体视觉；基于图像处理和人工智能技术，可实现混合现实功能，包括绘制控制器辅助信息、显示当前画面帧率等，协助工人完成任务。

图9 MR混合现实研究

3、力反馈

操作端力反馈设备通过接收由作业端机器人/机械臂与操作对象接触传输的力矩反馈数据，使操作者实时感知接触力矩反馈。具体而言，当作业端机器人或机械臂施加力量于某一物体时，力反馈设备会将这些信息转化为可感知的数据，通过操作端制动、压力等方式反馈给操作者，从而使其能够及时调整施加的力度，以确保工作的准确性，避免损坏目标物体。

图10 力反馈研究

实现这一过程需要深入研究机器人的手眼协调方法。在基于MR混合现实技术进行遥操作的场景中，系统内部存在多个不同的坐标系，这些坐标系包括机器人自身的坐标系、相机捕获图像时所使用的相机坐标系、MR全局坐标系以及佩戴者所用MR头显的坐标系等。为了确保操作者能够有效地控制机器人并获得真实感知，需要建立这些不同坐标系之间的转换关系，进而使控制环路中的操作人员获得接近于自身手眼控制的真实体感。

4、机器人实时控制

通过MR混合现实设备提供的视景，操作人员能够直观地观察到作业环境及其变化，从而更有效地控制作业端机械臂的运动。在这一过程中，操作人员以操作端设备的位姿为依据，通过实时反馈的信息来调整机械臂的位置和姿态。这种方法不仅提高了操作者对工作状态的感知能力，还增强了其在复杂任务中的应变能力。

图11 机器人实时控制研究

图12 遥操作场景软件

五、总结和展望

从以上内容可以看出，本案对远端视觉和遥操作系统的研究，可以解决无立体视觉、无接触触感等问题，提高遥操作的准确度和操作效率，降低操作难度。同时，为未来智能化遥控应用的发展提供了基础，有助于推动相关行业向更安全、更高效的方向迈进。

从技术的发展角度看，主要包含以下两个方面：

1、技术创新方向

（1）深度学习技术将在遥操作中发挥更大作用，提高智能化水平。

（2）5G通信技术将显著降低网络延迟，提升遥操作的实时性。

2、市场前景

（1）市场需求：遥操作技术在多个领域需求旺盛，市场前景广阔。

（2）投资机会：随着技术的发展和应用的扩展，遥操作领域将吸引更多投资。

- End -