Facebook新研究：结合手势识别技术，将任何物体变成AR/VR手柄

近期，Facebook Reality Labs的科研人员公开了一项与AR/VR交互相关的新研究，研究中指出了一种可将周边日常物品作为手柄的全新体感交互系统：Gripmarks。科研人员称，该方案可用于AR或者VR，可增强使用者的沉浸感。

据了解，Gripmarks利用手势识别技术，通过与预设手势进行对比，识别使用者握住易拉罐等物体的手势，并计算器手中物体的形状，为该物体生成支持交互的虚拟界面。

具体来讲，当你握住一样物体时，你需要做出特定手势来将它作为手柄激活，接下来的使用方式类似于手机触屏，你可以在该物体上进行多种不同功能的选择，比如播放媒体、计算等等。

将周围物体作为手柄的好处在于，可进一步增强AR/VR的沉浸感，在与虚拟界面交互的同时，还能感受到真实物体带来的反馈。VR/AR中的虚拟界面与真实物体形状吻合，不容易破坏虚实结合的逼真感。而且，将普通物体作为手柄也更方便，无需再购买额外的体感外设。

此外，Gripmarks支持双手和单手输入两种模式，双手输入指的是一只手握住物体，另一只手进行输入，而单手模式指的是你可以将普通的罐子、笔作为输入工具，单手举起并用手势激活它，就可以在VR中进行输入和创作。

目前，Gripmarks可识别多种物体，包括书、钱包、圆锥形、子弹型、笔、苹果等。

总之，Facebook研发的这个全新的交互系统需要用到Quest、Rift S等头显所配备的手势识别技术，也可以看做是对手势识别缺乏体感反馈的一种补充。接下来，科研人员计划将Gripmarks传感手套相结合，进一步提升体验感。