[IDEA Session 2] Future of Mobile Mixed Reality
[IDEA Session 2] Future of Mobile Mixed Reality
本文来自IDEA（Immersive Digital Experience Alliance，沉浸式数字体验联盟）官网视频的Session-2，演讲人为Bhaskar Banerjee，是GridRaster公司的联合创始人兼CTO。他主要对GridRaster提出的无线混合现实（Mixed Reality, MR）技术进行了阐述。
MR体验要求使用专用GPU进行高性能图形计算，以达到真正沉浸式视觉体验，即不仅具有快速、平滑、高保真的视觉效果，还可以通过高精度的空间映射，将现实世界和虚拟世界无缝融合。
为了做到真正的浸入式MR体验，需要将高质量的虚拟图像与现实世界融合。该过程主要有3方面挑战：1）Rendering：为了达到高保真的视觉效果，需要对高帧率、低延时的极高分辨率视频内容进行渲染。2）Spatial Mapping：需要通过高精度的空间映射，将虚拟物体“放置”在现实世界中指定某处，因此这就需要进行“scene understanding”，即对场景内容进行分割，标记场景中各部分内容，并为每个场景生成mesh网建模；3）Localization and Positioning：将虚拟世界和现实世界进行融合，也就是对需要放置的虚拟物体进行校准后，将其固定在现实世界中，同时要满足规定的遮挡位置关系。
下面，Bhaskar Banerjee对这三点进行了具体介绍。
A.Rendering：Photo-realistic Visuals 为了不产生明显的“像素感”，就需要采用很高的图像分辨率（8K per eye）。此外，为了呈现实时、平滑的沉浸式视觉效果，还要求延时不超过16ms，且帧率不低于90 fps。要对这样的视频图像进行渲染，并且产生高质量的纹理特征和光影效果，就需要非常高端的GPU设备（与当前用于AAA game的设备相仿或更好）。
B.Scene Understanding 通过联合使用RGB相机和depth相机，来将现实世界映射为一个3d模型重建，接下来对场景进行分割，识别场景中的各个物体并进行标记，然后生成对应的场景mesh图。因此需要非常高端GPU来运行3D建模、深度学习和3D计算机视觉的相关算法。
C.Localization & Positioning 当完成了上述两个部分后，就可以将虚拟物体“放置”在现实世界中，也就是运行SLAM（simultaneous localization and mapping）算法，在物体场景重叠时实现毫米级别的精度。此外，还需要持续进行场景中3D物体标识和用户观察姿态检测，并不断更新数据。同样，这也需要高端GPU的支持。
就像前文中反复提到的，高端GPU非常重要。但是这样的GPU运算仅由用户端穿戴的无线移动设备（如AR/VR/MR 头戴显示器、微型全息眼镜等）独立做到非常困难，因为在性能的基础上还要兼顾发热和重量。需要在功率和热量和重量的限制，并且这里还要求穿戴设备必须与PC无线连接，而不能通过线缆，以保证用户可以自由行动。因此该设计团队做了新的部署：用户端的无线穿戴设备只需要完成简单的信息采集和传输工作，另外设置一个服务器来完成所有需要GPU密集计算的繁重工作，并使用ethernet /LTE /5G接口来将用户穿戴设备和服务器建立无线连接。
整个GridRaster Platform的架构如上图所示，移动设备源源不断地将原始数据（rgb图像 、深度图像、用户姿态、眼部跟踪信息等）发送给服务器，服务器将渲染后的各帧图像再传回到移动设备中。因此用户端只需要运行一个小型的client APP，并对各种原始数据进行捕捉即可；而图像渲染和虚拟-现实融合等高负荷都在服务器端完成。这样的架构设计，可以在不损失运算性能的前提下使穿戴设备更加轻便舒适。此外，设计团队还提出了一系列技术策略，对无线传输的缓冲机制和连接质量都进行了改进，以保证可以达到<< span="">16ms的延时。
最后，Bhaskar Banerjee展示了几个demo，可以直观感受到该平台的设计效果。该产品具有很广泛的应用场景，以CAD模型设计为例，它可以使用户在3D空间内多视角观察复杂物体结构，哪怕该物体由几千万个小部件组成，都可以对其进行高保真渲染还原。用户甚至可以对虚拟3D物体进行分解和切割，然后在物体内部进行观察。此外，对于已经生产出来的现实产品，可以使用该技术的自动对齐和摆放功能，将3D设计图与实体物品进行校准。
附上演讲视频：
腾讯云开发者
