Facebook工具可在几秒钟内将智能手机照片转换为3D图像

一种算法可根据2D输入图像自动进行深度估计。

一组Facebook研究人员创建了一个端到端系统，该系统可以帮助用户在几秒钟内将其在智能手机上拍摄的照片转换成3D图像。

新框架为用户提供了一种更实用的3D摄影方法，可以解决多个设计目标。

用户可以通过自己的移动设备访问新技术，并且可以无缝地将2D输入图像实时转换为3D，不需要任何高级摄影技能。

处理仅需几秒钟，该方法足够强大，几乎可以处理任何照片-新照片或以前拍摄的照片。

在上个世纪，摄影经历了几次技术“升级”，提高了沉浸感。

“最初，所有照片都是黑白和颗粒状的，然后是彩色摄影，然后数字摄影为我们带来了更高质量和更高分辨率的图像，” Facebook的工作和研究科学家约翰内斯·科普夫说。

“最后，这些天，我们有了3D摄影，这使照片感觉更加生动逼真”。

自2018年底以来，2D到3D照片技术已在Facebook上作为“照片功能”提供。

为了利用此功能，最初要求Facebook用户使用配备双镜头相机的手机拍摄照片。

现在，Facebook团队添加了一种算法，该算法可以根据2D输入图像自动进行深度估计，并且该技术可以直接在任何移动设备上使用。

为了完善新系统，研究人员在数百万对公共3D图像及其伴随的深度图上训练了卷积神经网络（CNN），并利用了Facebook AI开发的移动优化技术。

该框架还结合了2D输入图像的纹理修补和几何捕获，以将其转换为3D，从而使图像更加活跃和生动。

直接从移动设备转换用户2D照片的每个自动化步骤都经过优化，可以在各种品牌和型号上运行，并且能够与设备有限的内存和数据传输功能一起使用。

该团队说：“用户立即得到满足，因为3D结果实际上是在几秒钟内生成的。”

Facebook的研究人员一直在尝试创新的方式来创建高质量的，身临其境的3D体验，从而推动了计算机视觉，图形和机器学习的发展。

在以后的工作中，该团队正在研究机器学习方法，这些方法可以对使用移动设备拍摄的视频进行高质量的深度估计。

Facebook研究人员将在8月的SIGGRAPH 2020会议上展示其系统。