【VR陀螺 编译】9月25日举行的OC6大会上,Facebook宣布Oculus Quest将支持基于现有的相机实现手势识别功能,这一功能将于明年年初开放。
这将使开发人员可以创建与手进行交互的应用程序,而无需使用物理控制器。现有的应用程序也可以使用此功能进行更新,由于缺少输入或触觉反馈,因此仅适用于某些应用程序,例如社交VR等。
Facebook对VR的手势识别感兴趣的第一个迹象是在2014年底揭晓的。该公司收购了由4名资深手势识别技术专家组成的初创公司Nimble VR。但是收购之后,Oculus清楚地知道该技术“甚至可能不会在CV2或CV3中使用”。
这可能是因为Nimble的技术不仅是软件,而是专用的深度传感器。深度传感器可提供出色的手势识别功能,例如新型HoloLens 2 AR头显所具有的功能。但是高端产品价格昂贵,而低端产品笨重且相对较重,这增加了头显的重量。
基于普通的摄像头提供高质量的手势识别是完全不同的挑战。但是,如果可以做到的话,它就可以将手势识别添加到已经使用摄像头进行其他跟踪的头显中,而无需花费额外的硬件成本。
2016年,在Oculus Connect 3大会上,首席科学家Michael Abrash对2021年的VR做出了一系列预测。他指出,使用手套上的标记可以完美地进行手指跟踪(并展示了出来),但还不能直接进行。但是,他预测到2021年将有可能。
如果这项功能在今年推出,那么Facebook将比Abash的预测提前一年。
在2018年的Facebook年度F8会议上,该公司终于展示了高质量的无手套、无标记手势识别。
一位Oculus代表在舞台上解释说,这一“突破”是由于Facebook在机器学习( AI)研究上的大量投资而得以实现的。他们使用Abrash在2016年描述的那种手套系统来训练卷积神经网络以实现识别手势功能,这很有可能使该功能成为可能。
人们戴上VR头显时,要做的第一件最自然的事就是伸出双手。手势识别是最自然的操作,它们也非常适合游戏,但是目前并能追踪绝大多数的手势动作。
在社交VR中,可以用真实的手自由打手势的能力增加了沉浸感,并增加了社交影响力。比如有用户在AltSpaceVR等平台上使用Leap Motion来实现手势识别进行VR社交体验。
领取专属 10元无门槛券
私享最新 技术干货