苹果介绍Vision Pro基于神经科学技术的手眼协调控制

查看引用/信息源请点击：映维网Nweon

无需控制器，Vision Pro主要通过眼睛+手势进行操作控制

（映维网Nweon 2023年06月10日）苹果的首款XR头显Vision Pro并不依赖物理控制器，而是通过眼睛和双手来与虚拟对象交互。在相关的开发者会议中，这家公司分享了具体的细节，包括常用手势和手眼协调操作。值得一提的是，这种眼睛+手势进行操作控制的用到了大量的专有神经科学技术。

眼睛

在visionOS中，你的眼睛注视点就是光标，就像通过移动鼠标来导航移动。当然，用户界面不会显示基于眼睛注视点的光标。但当你注视诸如图标等元素时，用户界面就会马上响应。

如上面的视频所示，你在用浏览扫视浏览图标时，你会看到相应的高光线索，并用于说明你已经选中它们。另外，注视菜单栏一定的时间后就会扩展子菜单，而你注视麦克风图标一定的时间后就会立即触发语音输入。

这主要得益于先进的眼动追踪系统，以及苹果研发的机器学习技术。对于后者，它围绕神经科学进行预判。由于大脑生物反馈，人类在执行特定行为前会产生瞳孔反应，所以苹果可以通过算法来进行预测，从而大大优化响应速度。

手势

眼睛可以帮助你自然地导航空间元素，而双手则可以帮助你自然地操作用户界面。对于不同的虚拟元素，你可以直接用双手进行直观的操作。例如，苹果介绍了一系列的常用手势操作。

Tap（拇指轻触一次食指）：这个动作指示系统你要点击显示的虚拟元素，相当于轻触点击一下iPhone屏幕 。

Double Tap（拇指轻触两次食指）：这个动作相当于双击iPhone屏幕 。

Pinch and Hold（拇指和食指捏合一段时间）：这个动作类似于点击iPhone屏幕并按住一段时间，可执行突出显示文本等操作。

Pinch and Drag（拇指和食指捏合并拖动）：这个动作用于滚动和移动窗口。你可以以特定角度滚动或移动窗口，如果用户加快手势速度，界面会相应地调整速度。

Zoom（左右手同时摆出食指拇指捏合，并向左右两边拉开）：这个动作可用于放大窗口大小。

Rotate（右手同时摆出食指拇指捏合，并顺时针旋转）：这个动作可用于操纵虚拟对象的方向。

当然，长期的悬空操作会造成疲劳。所以苹果鼓励你把手放在膝盖并执行手势。由于Vision Pro搭载的先进摄像头和软件算法，系统依然能够精确地捕获分析。

手眼协调

在介绍完眼睛导航和手势操作外，苹果进一步演示了手眼协调。利用先进的眼动追踪和机器学习，系统可以监测用户的注视点，并预测用户希望执行的手势操作。

以上面的GIF动图为例，在一张自然景色图片中，系统可以追踪用户的注视点，并预判用户是希望执行放大操作。所以当用户实际执行Zoom（左右手同时摆出食指拇指捏合，并向左右两边拉开）这个动作时，系统可以迅速响应，而用户注视的区域（黄色圈圈）可以马上放大。

显然，这可以带来非常无缝和流畅，而且十分自然的体验。

更多相关介绍请浏览上面的20分钟视频。其中，一开始至2：21分是概要。2:22开始是关于眼睛导航；12：21分开始是手势操作；而18：36之后则是总结。另外，你可以访问苹果开发者官网。