谷歌机器学习应用框架MediaPipe增强3D对象追踪功能

近期，谷歌跨平台机器学习应用开发框架MediaPipe为XR开发者提供KNIFT和Objectron两种工具，并引入高级AI框架来提升3D目标追踪。该功能将为AR/VR应用带来手势追踪、面部追踪、姿态追踪和目标追踪等功能。

据青亭网了解，MediaPipe是谷歌在2019年推出的AI框架，主要用来检测3D空间的人和物体，并通过机器学习方案来追踪目标，将2D数据转换为3D空间结构。MediaPipe的跨平台兼容性好，支持安卓、iOS等系统的AR/VR开发工具。除此之外，谷歌还推出Apache 2.0开源框架，为开发者提供完全可定制的XR项目。

MediaPipe提供的各类3D追踪功能，可以用于AR/VR内容开发。其中包含的主要XR功能包括：人脸检测、人脸网格、虹膜检测、手部检测、姿势检测、整体检测、自拍分割、头发分割、物体检测、方格追踪、即时运动追踪、Objectron（对象框跟踪）、KNIFT、AutoFlip、MediaSequence等等。

其中，KNIFT全称为关键点神经不变特征变换，主要作用是增强对象检测效果、帮助理解物体上的信息，可匹配现实世界对象（例如停车标志）上显示的信息，并作为空间数据进行传递。而Objectron则是将2D图像中的对象转化为实时3D（RT3D）数据点，并通过机器学习算法来预测对象的姿势变化。此外，Objectron可根据2D视频片段跟踪户外空间/环境。

值得注意的是，谷歌曾将MediaPipe与各种内部项目集成，比如去年推出的Art Filter应用，利用MediaPipe工具将任意物品转化成经典艺术品。谷歌SignAll也集成了MediaPipe服务，用于追踪和读取手语。