首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

变焦VR的开源人工智能渲染器

千言万语不如视频来的直接

(解释一下,红色的准星是人的眼睛看到的位置,会自动识别人眼的方向,并,并调节焦距。)

当Facebook的Oculus部门在5月份发布了名为Half Dome的下一代原型VR耳机时,其标志性功能之一是“变焦”显示系统,它实际上将屏幕内部移动以模仿用户眼中的焦点变化。 现在,该公司已经发布了用于为varifocus功能提供动力的软件渲染系统DeepFocus,以及一个有趣的声明:DeepFocus的代码和数据是开源的,因此研究人员可以了解它是如何工作的,并可能对其进行改进。

虽然DeepFocus的细节技术足以让开发人员感兴趣,但是Oculus的软件使用AI来创建“散焦效果”,使得图像的一部分看起来比其他部分更清晰。 该公司表示,这种效果对于VR全天沉浸是必要的,因为选择性聚焦可以减少不必要的眼睛疲劳和视觉疲劳。

Oculus表示DeepFocus是第一款能够实时生成效果的软件,为用户目前没有关注的所有内容提供逼真的凝视跟踪模糊。 关键词是“逼真的”,因为为游戏开发的先前模糊系统已经被开发用于闪光或电影效果,而不是精确度,而半圆顶的任务“是忠实再现光线落在人类视网膜上的方式”。

为实现这一目标,该公司将深度学习AI工具与游戏引擎已经提供的基本颜色和深度RGB-D数据配对。 DeepFocus开发团队创建了196,000个随机填充对象的图像,训练系统在场景中正确渲染模糊,比典型的VR环境具有更大的复杂性和可变性。

“通过深入学习,我们的系统能够掌握复杂的效果和关系,例如前景和背景散焦,”Oculus研究科学家Anton Kaplanyan解释说,“以及遮挡边界的正确模糊。 通过生成丰富的地面实例数据库,我们能够覆盖更广泛的散焦效应,并为景深合成设立了新的标准。“

虽然DeepFocus在1080p图形上运行顺畅,但该团队后来升级其工作以处理VR设备的苛刻图像渲染管道,最终引入了一个四GPU管道来实时处理现代VR质量图像。 目前,该团队仍在努力让DeepFocus在单个GPU上以高VR分辨率运行,这个过程仍在进行中。

Facebook在开源DeepFocus方面的既定目标是与VR系统开发人员,视觉科学家和感知研究人员分享其知识;很明显,这些信息也将帮助软件开发人员准备未来的VR应用程序。 但实际发布具有变焦硬件的VR耳机的时间表尚不清楚。 Oculus表示它开发了Half Dome的散焦软件,但认为它与硬件无关,并认为它将在下一代VR耳机中发挥作用。

在线之间进行阅读,这表明Oculus还没有准备好将多变量解决方案推向市场 - 这一结论与公司报道的决定制造“Rift S”VR耳机是一致的,而不是向前迈进一步,更多地关注 比主要新技术更方便。 根据今天的公告,这个有争议的决定会更有意义,因为几乎没有人会拥有Oculus所说的四倍GPU PC,目前需要渲染变焦图像。 为开发人员提供加速渲染软件的机会可能有助于将真正的下一代VR耳机更快地推向市场。

还真期待他这个VR能够尽快进入市场,让我们也以尝一下新鲜。

最新AI技术咨询,请持续关注。

长按扫描,关注公众号

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181227G0AF2900?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券