Google VR方案总结

在2014年，Google推出了一款价格低廉的DIY设备Cardboard，实现所有的手机都可以变身“VR查看器”，它与Facebook旗下的Oculus推出的高端VR设备形成了鲜明的对比。而如今，白手起家的Google已经凭借其各种高端交互式设备站到了VR和AR技术领域的最前沿。

本篇对Google VR方案的总结将沿着全景媒体从生产制作到内容分发，最后进行显示呈现为线索，逐步探寻Google近年来在VR方案上的关键技术点和产品设计。

图1 Google全景媒体关键技术

Google Jump全景摄像装置

在全景媒体应用框架的输入口，Google推出了Google Jump，它是由GoPro镜头组、自动拼接软件和播放平台3部分组成。Jump拍摄的原始视频经过JUMP应用转换后，会生成非常逼真的3D虚拟现实视频。严格来讲，Jump是Google虚拟现实视频内容制作的设备，它最重要的意义在于降低虚拟现实内容制作和消费的门槛，让虚拟现实变得触手可及。

图2 YI HALO实体图

今年，Google正式推出了下一代Jump相机YI HALO，它是由17个相机组合而成，包括环形区域的16个4K运动相机和顶部的一个相机，比Go Pro Odyssey的3D视频体验效果更好。目前，YI HALO可以拍摄高质量的8K x 8K每秒30帧，或5.8K x 5.8K每秒60帧的360°VR视频。

ETC2Comp编码技术与Draco压缩库

在编码压缩这一环节，Google发布了ETC2Comp技术，它是一款用于游戏和VR开发的编码器[1]。在编码360视频的过程中，ETC2Comp通过部署一些优化技术，可以以更快的速度获得高质量的视觉效果。在优化策略中，ETC2Comp通过“定向块”的搜索方式有针对性的获得给定块的最佳编码方式，这种压缩方式可以比暴力法快得多。在代码方面，由于每个视频块可以进行独立编码，ETC2Comp采用了高度多线程。此外，Chrome Media团队创建了Draco，这是一个开源的压缩库，用于改善3D图像的存储和传输性能。Draco压缩库提高了3D图像的压缩效率而不会影响视觉保真度。对于用户端来说，下载的速度更快，在浏览器中的3D图像也可以更快的加载，并且减小了VR场景的带宽传输压力，使得全景内容能快速呈现。

图3 Draco的压缩效果对比结果图

空间化音频技术

除了对全景视频方面的处理，Google VR团队还在整个全景媒体框架中引入了空间化音频技术，通过将空间音频引入网页，浏览器可以转换成一个完整的VR媒体播放器[2]。如图4所示，用户可以听到浏览器上的360度环绕声。解码器能记录包含4通道的音频，然后将其解码，并满足任意的扬声器条件。此外，使用8个虚拟扬声器，代替实际的扬声器阵列，以双向呈现最终音频流。这种双耳呈现的音频可以在通过耳机听到时传达空间感，为在网络上更加沉浸式的VR体验发挥了关键作用。

图4 空间化音频技术的流程图

WebVR平台

目前VR市场产品众多，无论在硬件还是内容服务上尚无法形成统一标准。而WebVR的出现，能够让诸多VR头显设备或是VR手机在获取内容的方式上统一。WebVR提出了一个关于VR网络应用的开放性标准，即用户可以直接通过浏览器观看VR内容。在2017年2月，Google已提出在Chrome浏览器上植入WebVR，让VR体验更加便捷。为了开发更多的WebVR的功能，Google推出了WebVR Experiments，内部包含了VR开发者尚在开发的各种VR体验的设计，如下图5的右图所示，是Creative Lab和NASA JPL合作设计的“Access Mars”体验[3]。

图5 移动端WebVR以及Access Mars设计截图

WebVR提出的概念改变了对VR头戴式显示设备等终端设备的理解，从以往的观看内容的方法转变为观看内容的工具，而这观看内容的方法就是WebVR平台。这样跨平台的特性快速促进了VR内容生产制作和观看呈现在技术标准等方面达成一个统一行业标准的过程。

基于ODS模型的渲染技术

在渲染方面，Google设计了一个映射模型ODS（Omni-directional stereo）在头显设备上渲染全景视频，这个映射模型只捕获每个摄像机的中心射线，并借用其他摄像机的其他射线方向，如图6所示。所以这种光线捕获方法呈现在左右眼的射线几何将会变得更加的立体和全方位。ODS采用的是预渲染方式，在头戴式设备中播放都非常的流畅。

图6 基于ODS模型的光线捕获模式

头戴式显示设备

不同于高昂价格的VR头显Oculus Rift和HTC Vive，Google推出的Cardboard的价格不过在30美元左右。如图7所示，Google Cardboard是一个以透镜、磁铁、魔鬼毡以及橡皮筋组合，再搭配上智能手机组成一个VR头戴式显示器，形成了一套接近专业水准的VR设备，提供虚拟现实体验。

图7 Cardboard头显实体图

在2016年，Google首次介绍了Daydream平台，这是一个将Android设备与新一代虚拟现实头戴设备整合的平台。Google首先对于硬件提出具体的标准以及系统层面的优化，给予了手机生产商和芯片制造商一个参考标准，其次进一步提升了移动设备在呈现虚拟现实内容上的体验，名为Daydream Home的虚拟现实商店能够让人们直接带着头盔浏览所有内容，包括各种游戏、App和视频等。Daydream建立了移动 VR 头显的可参考设计，在 Android底层强化了智能手机反应速度的 VR 模式、以及建立 VR 内容平台基于此，Daydream 将 VR 从底层到 UI 全部串联，在系统端保证 20ms 内的延迟性能和对开发者友好的系统优化。

Daydream平台诞生前，虚拟现实内容缺少一个整合。而Daydream的诞生正是为了解决这个问题，至少是在Android系统中。它能够将所有内容，包括开发人员、App、游戏和视频整合到统一平台进行浏览。

此外，Google正在为Daydream平台研发一款VR一体机，预计发布时间在2017年后半年。研发的VR一体机可支持Inside-out追踪技术，采用了谷歌研发的计算机视觉技术Worldsense（Tango），该技术不需要任何额外的信号灯塔、传感器来实现6 DoF定位追踪能力，还可以实时渲染周边环境。

虽然Google加入VR领域迟于Facebook，但发展势头很猛，相比于Facebook有自己社交平台的优势，Google也致力于以Android操作系统为核心的VR应用，比如Daydream，同时也在推行一体化VR头盔，即不再需要连接智能手机或电脑。不同于Facebook收购Oculus公司开发Rift头戴式设备，Google从硬件到生产到内容输出正在构建闭环系统和框架，在前后端继续致力于全景媒体应用领域进行研究。

参考文献

[1] Colt McAnlis. ETC2Comp: fast texture compression for games and VR[EB/OL]. https://opensource.googleblog.com/2016/11/etc2comp-fast-texture-compression.html, 2016-12-14.

[2] Hongchan Choi, Raymond Toy. Omnitone: Spatial audio on the web[EB/OL]. https://opensource.googleblog.com/2016/07/omnitone-spatial-audio-on-web.html, 2016-7-25.

[3] Google Creative Lab, NASA JPL. Access Mars[EB/OL]. https://experiments.withgoogle.com/webvr/access-mars, 2017.