谷歌分享注视点渲染技术的新研究成果

显示器分辨率在不断提高，但图形处理能力并没有以同样的速度提升。注视点渲染技术通常被认为是下一代头显必备的能力，该技术能够让头显降低对显卡渲染的要求，显卡会集中渲染用户眼睛注视的区域，而在这之外的区域则逐层模糊显示。但现阶段，该技术并不能完全解决问题。为此，谷歌软件工程师经理 Behnam Bastani 和 Daydream 软件工程师 Eric Turner 最近分享了 AR/VR 注视点渲染的一些新研究成果。

Bastani 和 Turner 表示，通过他们的研究，当前在增强现实技术中，注视点渲染的限制是内容创建、数据传输、延迟以及与真实世界对象的交互。为了帮助解决这些问题，Bastani 和 Turner 概述了新管道中的三个主要研究领域：注视点渲染以减少每个像素的计算量，注视点图像处理以减少视觉伪影，以及通过降低每个像素传输的比特数来处理延迟。

传统的注视点渲染技术是将一个帧划分为几个离散的空间分辨率区域，这样做往往会引起明显的伪像，比如在低分辨率的内容区域中出现混叠现象。下面 GIF 图像中：左边显示的是完整的分辨率，右边则使用了传统的注视点渲染（中间有高清晰度区域）。

谷歌的研究人员介绍了两种方法来解决这些问题，分别是相位对齐注视点渲染和共形注视点渲染。

相位对齐注视点渲染

在相位对齐注视点渲染中，研究人员通过将平截头体（场景中几何形状的一部分）与世界（例如，始终面向北、东、南等）对齐，而不是与当前帧的头部旋转（传统的方式）对齐。

然后进行上采样，并重新投射到显示屏以补偿用户的头部旋转。根据他们的研究表明，这种方法减少了闪烁，你可以看到下面右侧图片中仍然存在一些锯齿现象，但对比左侧就没有那么波涛汹涌了。

研究人员表示，这种方法比传统方法要消耗更多的计算资源，因为它需要两次光栅化过程或者绘制图像，不过它在较低质量下渲染低敏锐度区域可以获得“计算资源节省”，但在高低敏锐度区域之间会产生明显的界线，而且可能会很明显。

共形注视点渲染

由于人眼观察事物的特征是从边边模糊平滑过渡到中间清晰，你可以利用这一点尝试在最终图像中准确地匹配这种过渡方式。

与其他技术相比，这样做可以减少计算像素的总数量，同时防止用户在高敏锐度区域和低敏感度区域之间看到清晰的分界线。Bastani 和 Turner 表示，这些好处允许“更优质的注视点渲染…同时在相同的质量水平下，能够节省更多的计算资源。”

与相位对齐注视点渲染不同，共形注视点渲染只需要一次光栅化。与相位对齐相比，共形注视点渲染的缺点是混叠伪影在外围仍然会闪烁，这对于需要高视觉保真度的应用来说可能不是很好。

你可以在上图右侧看到共形注视点渲染，其内容与眼睛的视觉感知和 HMD 透镜特征相匹配。左边显示的是传统的注视点渲染。两种方法都使用相同数量的像素。

注视点图像处理

在渲染之后和在你眼前播放 AR/VR 内容之前需要执行一些图像处理步骤，如局部色调映射，镜头畸变校正或照明混合。

在放大之前对内容进行镜头失真校正，可以获得显着的计算资源的节省，并且不会出现额外的可感知的伪像。在下面图片中你可以看到，虽然在合并低敏锐度和高敏锐度图像之前多了额外的步骤，但是由于效率更高，整体工作量更少。

注视点传输

由于谷歌非常专注于移动 VR/AR 应用，因此节省电量是需要重点解决的一个问题。“注视点传输”将通过传输显示器所需的最少数据量来节省功率和带宽。

将较为简单的放大和合并帧的工作移动到显示器端，并且只传输渲染的内容本身，这样可以节省电量。如果注视点区域与眼动追踪一起移动，则会出现复杂性。由于在 SoC 和显示器之间使用的压缩不是为注视点内容而设计的，所以可能会出现瞬时的伪像。

你可以在这里阅读完整的研究内容。它稍微有点技术性，但包括更多的图像供参考。