近期,Meta Reality Labs公布了一项与VR全身姿态追踪相关的研究方,并在论文中介绍了一种由神经网络驱动的全身追踪系统:QuestSim。据悉,该系统的特点是可根据Quest 2头显和手柄的数据来预测全身姿态,无需额外的追踪器或外部传感器。
我们知道,由于Quest 2并不支持下半身追踪,Meta Avatar虚拟化身通常只有上半身形象,因此曾遭受用户吐槽。为了实现全身Avatar,Meta构思了多种方案,比如在第三人称视角下为Avatar加入虚拟腿,无需追踪用户下半身就能模拟腿部动作,但在第一人称时你看不到自己的下半身。而近期公布的QuestSim方案,则使用算法来预测下半身姿态。
Reality Labs称,QuestSim生成的全身动作与真实动作非常接近,其准确性和抖动方面甚至优于穿戴式IMU追踪器。细节方面,QuestSim系统延迟达160毫秒。
应用场景方面,未来这项技术也许用来模拟第三人称的Avatar动作,或是通过硬件升级来实现更准确的追踪,比如在VR手柄上加入额外的摄像头,也许可以更好的捕捉下半身数据。总之,相比于配备额外的追踪器,直接用算法和VR头显+手柄数据来预测全身姿态成本更低,对于普通VR用户更加友好。
领取专属 10元无门槛券
私享最新 技术干货