IMU协同相机颜色帧构建更真实的AR天空

AR技术的发展模糊了现实和虚拟世界之间的界限。天空在日常环境中无处不在，它的模拟是AR技术里重要的组成部分，天空的实时更替是一个很大的挑战。

MobileSky首次使用了用于移动AR体验的自动天空替换方法。通过将相机颜色帧和IMU数据作为输入，产生了接近真实的天空效果，运行速度约为30FPS（Hz）。

研发过程中的主要挑战是如何快速准确地提取相机馈送中的天空区域。研发人员为了给相机帧实时提供更高质量、空间和时间一致的天空遮罩图，搭建了一种全新的将深层语义网络与后处理细化步骤相结合的框架。并且利用IMU数据，提出了新的天空感知约束，如时间一致性（使用了帧上相关的IMU数据来对齐前一帧和当前帧）、位置一致性和颜色一致性，以帮助细化分割输出的弱分类部分。