变焦VR的开源人工智能渲染器

千言万语不如视频来的直接

(解释一下，红色的准星是人的眼睛看到的位置，会自动识别人眼的方向，并，并调节焦距。)

当Facebook的Oculus部门在5月份发布了名为Half Dome的下一代原型VR耳机时，其标志性功能之一是“变焦”显示系统，它实际上将屏幕内部移动以模仿用户眼中的焦点变化。 现在，该公司已经发布了用于为varifocus功能提供动力的软件渲染系统DeepFocus，以及一个有趣的声明：DeepFocus的代码和数据是开源的，因此研究人员可以了解它是如何工作的，并可能对其进行改进。

虽然DeepFocus的细节技术足以让开发人员感兴趣，但是Oculus的软件使用AI来创建“散焦效果”，使得图像的一部分看起来比其他部分更清晰。 该公司表示，这种效果对于VR全天沉浸是必要的，因为选择性聚焦可以减少不必要的眼睛疲劳和视觉疲劳。

Oculus表示DeepFocus是第一款能够实时生成效果的软件，为用户目前没有关注的所有内容提供逼真的凝视跟踪模糊。 关键词是“逼真的”，因为为游戏开发的先前模糊系统已经被开发用于闪光或电影效果，而不是精确度，而半圆顶的任务“是忠实再现光线落在人类视网膜上的方式”。

为实现这一目标，该公司将深度学习AI工具与游戏引擎已经提供的基本颜色和深度RGB-D数据配对。 DeepFocus开发团队创建了196,000个随机填充对象的图像，训练系统在场景中正确渲染模糊，比典型的VR环境具有更大的复杂性和可变性。

“通过深入学习，我们的系统能够掌握复杂的效果和关系，例如前景和背景散焦，”Oculus研究科学家Anton Kaplanyan解释说，“以及遮挡边界的正确模糊。 通过生成丰富的地面实例数据库，我们能够覆盖更广泛的散焦效应，并为景深合成设立了新的标准。“

虽然DeepFocus在1080p图形上运行顺畅，但该团队后来升级其工作以处理VR设备的苛刻图像渲染管道，最终引入了一个四GPU管道来实时处理现代VR质量图像。 目前，该团队仍在努力让DeepFocus在单个GPU上以高VR分辨率运行，这个过程仍在进行中。

Facebook在开源DeepFocus方面的既定目标是与VR系统开发人员，视觉科学家和感知研究人员分享其知识；很明显，这些信息也将帮助软件开发人员准备未来的VR应用程序。 但实际发布具有变焦硬件的VR耳机的时间表尚不清楚。 Oculus表示它开发了Half Dome的散焦软件，但认为它与硬件无关，并认为它将在下一代VR耳机中发挥作用。

在线之间进行阅读，这表明Oculus还没有准备好将多变量解决方案推向市场 - 这一结论与公司报道的决定制造“Rift S”VR耳机是一致的，而不是向前迈进一步，更多地关注 比主要新技术更方便。 根据今天的公告，这个有争议的决定会更有意义，因为几乎没有人会拥有Oculus所说的四倍GPU PC，目前需要渲染变焦图像。 为开发人员提供加速渲染软件的机会可能有助于将真正的下一代VR耳机更快地推向市场。

还真期待他这个VR能够尽快进入市场，让我们也以尝一下新鲜。

最新AI技术咨询，请持续关注。

长按扫描，关注公众号