VR 直播系统

来源：Demuxed 2021 主讲人：Behnam Kakavand (Evolution) 内容整理：王炅昊 本文是来自Evolution的技术人员Behnam Kakavand在Demuxed 2021上的演讲，从他们旗下的一款游戏的VR直播模式出发，介绍了VR直播系统中的一些注意事项并给出了一些建议。

目录

• 背景介绍
• 场景准备
• 180° or 360°
• 分辨率
• 编码
• 测试
• 总结

背景介绍

讲者来自Evolution公司的研发部门。该公司是一个线上游戏公司，旗下的游戏主要是各类线上赌场游戏。这类强交互性的桌面游戏，对于沉浸感的要求较高，也因此对与VR直播等提升观众沉浸感的形式有一定关注。该公司在全球有800多个实时游戏全天候运营。讲者最近在一款游戏中添加了VR直播模式，本次演讲将主要围绕其展开，给出对VR直播系统的一些建议。

场景准备

讲者介绍了搭建VR转播场景时的几个注意事项：

1. 首先，请尽量避免在现实世界中有快速移动的对象，尤其是在现实世界的内容中。它们可以让用户很容易感到不舒服，可能还会让他们“晕车”。
2. 确保场景中有足够的光照。这点讲者重点强调了，在光照不佳的条件下，相机可能会在传感器上产生噪音，这些噪音可能在通常的视频中还不是特别明显，但在VR视频系统中则会变得非常显眼，很可能会分散用户的注意力。特别的，如果系统同时还要进行色度键控，任何光照都会产生很大的影响，通常在普通视频中都看不到。对于同样版本的游戏，在普通视频模式下表现并不明显的噪声、人工痕迹等缺陷，在VR模式中变得明显可见。
3. 找到最佳相机角度，为后续用户创建一个相对不舒服的视频。在设计相机摆放位置时，有些问题是必须要明确的，如是否要拍360度视频还是180度视频。这个问题的答案会影响你对相机摆放位置的选择。当然，有了立体视觉，我们可以从稍微不同的角度捕捉到略有不同的图像。这种情况下，系统需要多个摄像头，这样它将为用户、用户间交互提供3D效果。这本应该是大大提升沉浸效果的操作，但是如果相机摆放和使用不当，可能反而会影响观众的体验。另一方面而言，系统也可以使用单个镜头，这意味着只需向双眼显示相同的图像即可。此时系统不需要任何特殊类型的相机。当然，这种设定会使沉浸式体验会更少，但它仍然非常强大和有效，沉浸式效果仍存在。与此同时，它将简化工作室流程和用户端的观看设置，并且同样的视频可以在VR生态之外复用，作为一个普通视频在正常的视频模式中使用。

180° or 360°

至于180度和360度之间的180角。有人说，人类的头部旋转最大为200度左右，舒适范围为150度左右，通常所有事情都只发生在场景的一侧，因此用户只会关注一侧，根据我们的经验，通常用户开始在最初几分钟内体验整个360度区域，之后他们将专注于一个方向。因此，180度而不是360度可能是值得的，180度将在相同分辨率下提供更高的像素密度，这将对质量产生重大影响。

分辨率

当我们讨论VR系统分辨率的时候，这实际上涉及到了两种概念，一个是视野，通常是水平视野，另一个是逐眼分辨率。这些东西在不同的设备上是不同的。例如，Oculus Quest 2在1832x1920的分辨率下，提供104度的水平视野。请记住，这是最大的数字。虚拟现实头戴设备的这一特性对观众体验有极大影响，而且数字通常略低于这个数字。我们的目标是在人眼关注范围内的视频可见部分，获得一个较高分辨率，且该分辨率至少大于或等于VR头戴设备内的显示分辨率。如果尺寸较小，则会发生上采样，图像锐度也会因此降低。就像你在4K显示屏上观看高清1080p视频一样，观众体验感会有严重下降。例如，在我们的例子中，我们使用4K单目视频输入，如果将其按照360度规则放置，我们得到的每个眼睛的分辨率是860×920，你可以看到它比这些示例设备的分辨率小很多。因此，作者的建议是，对于单目视频，使用最小4K，若低于这个将会为观众提供一个非常糟糕的质量感知。以及，尽量选择180度视角范围而非360度。

编码

至于编码，AV1或其他新一代编解码器将是最佳选择，因为这里使用的是更高的分辨率。但事实是，如果在后端使用RTMP来视频传输，那么这将很难与下一代编解码器相适应。但好消息是，H264仍可以使用，它将为最高4k的视频提供可靠的性能。当然，具体的码率取决于要传输的内容类型。作者刚开始在4K视频上尝试25MB/s，但之后将其降低到15MB/s，而不会造成很大的质量损失。这里，应该考虑到该公司针对的游戏，其大部分视频内容是由动画内容组成的，比特率也可以相对较低。总之，必须要在自己特定的内容类型下进行试验。

此外，图像上也可以增加一些去噪滤波器，这将有助于减少图片上的噪声。而至于帧速率，讲者的经验是，对于VR系统而言，50 fps将是基本的最小值，这将为用户提供较好的、平滑的体验。当然，如果能做到更高帧率则越高越好。

测试

讲者分几个部分讲了对VR直播系统测试时所需要注意的点。

1. 不要在平面显示器上进行测试。即使是最高端的传统平面显示器，其显示效果也和真实出现在VR头盔中的内容相去甚远。反之，应该在尽可能多的VR头戴设备上进行测试。
2. 把实体设备调试到最佳状态。实体设备中有很多需要设置的地方，如屏幕与眼睛的距离等，这些设置都很大程度上影响了我们看到的视角范围和视频质量。
3. 为了保护眼睛，不要长时间在VR设备中测试。

总结

这次演讲的目的是鼓励读者们开始尝试VR的功能，它本不那么复杂，可以简单地通过使用单视视图、使用180度而不是360度来简化它、使用当前的编解码器和协议来编码和传输视频等。

最后附上演讲视频：

http://mpvideo.qpic.cn/0bc35yaakaaa7eahjllggzrfb3wdaxxaabia.f10002.mp4?dis_k=6583d6ff5956cb5b0dc48e6c689ed928&dis_t=1653459646&vid=wxv_2370428019569426433&format_id=10002&support_redirect=0&mmversion=false