微软新HoloLens专利可用深度学习减少ToF功耗，延长系统续航

查看引用/信息源请点击：映维网

减少功耗，从而延长MR系统的续航时间

（映维网 2021年01月13日）为了捕捉复杂的3D几何图形，MR系统依赖于深度估计系统生成的深度信息。利用深度信息，MR系统可以确定设备和特定对象之间的相对距离，同时能够识别对象的特定轮廓、边面和形状。行业存在不同类型的深度估计系统，如飞行时间系统、点对点激光扫描和干涉测量等。

由于受环境影响小，测量帧率高，算法开发难度低等特性，飞行时间正日益受到厂商的关注。但这项技术的一个缺点是，为了计算单个深度映射或曲面网格，系统需要捕获大量的红外图像。图像越多，功耗就会大幅增加，从而缩短MR系统的续航。

为了提升MR系统的续航，同时为了利用高质量的深度信息来继续提供高质量MR体验，微软工程团队一直在探索不同的解决方案。日前，美国专利商标局公布了一份名为“Machine-learned depth dealiasing”的微软专利申请。

这份专利主要描述了一种优化深度估计操作的技术，方式是对红外相位深度图像的深度ambiguity进行dealiasing。微软指出，发明所述的技术可用于需要深度信息的任何场景，包括但不限于混合现实和自动驾驶。

在实现方面，可以致使照明器向目标对象发射参考光；作为响应，检测反射光，其中反射光包括从目标对象反射的一部分参考光；然后生成相位图像；产生相位图像的过程基于参考光和反射光之间的相位差。

其中，相位差表示参考光和反射光的重叠正弦周期内的深度变化。另外，相位图像包括ambiguity，这是因为即便实际对应于不同的真实世界深度，由相位图像表示的多个不同深度都共享相同的相位差/偏移值。

接下来，可以将相位图像作为输入输入到机器学习组件之中。机器学习组件可特别配置为对相移信息中的ambiguity进行dealiasing。在执行dealiasing操作时，机器学习组件针对相位图像中的每个像素确定相应的de-aliasing interval。然后基于相位图像，以及由机器学习组件生成的任何de-aliasing interval来生成深度贴图（或曲面网格）。

通过对ambiguity进行dealiasing处理，可以大大减少需要生成的相位图像数量，因而能够在执行深度映射生成或点云生成（或者甚至表面重建）时显著降低飞行时间深度成像和深度计算系统消耗的功率。例如，通过专利描述的实施例，“所生成的相位图像的数目可以从9个或6个图像，甚至减少到3个、2个或潜在的1个图像，从而实现显著的功率降低和更少的数据处理、存储和传输。”

另外，这项技术能够减少达到深度所需的激光照明时间，并因而延长红外照明器的使用寿命。不仅只是这样，所述技术同时可以扩展深度估计系统的操作范围，例如6米远，甚至可以达到14米。利用专利描述的机器学习特征，一些实施例不存在深度范围的上线。所以，在描述的部分实施例中，深度估计可以超过14米，甚至超过20米。

相关专利：

Machine-learned depth dealiasing

https://patent.nweon.com/16524

名为“Machine-learned depth dealiasing”的专利申请最初在2019年7月提交。需要注意的是，这只是专利申请，而且文中所述只是理论，不确定实际的应用效果。