Neuralangelo：NVIDIA的人工智能模型能够将2D视频转换为3D结构

NVIDIA研究团队近日发布了一种名为Neuralangelo的人工智能模型，它可以利用神经渲染技术将二维视频转换为详细的三维结构，生成建筑物、雕塑和其他真实世界物体的逼真虚拟复制品。这一模型的名字是受到了米开朗基罗这位伟大的雕塑家的启发，他能够从大理石块中雕刻出惊人的、栩栩如生的作品。

Neuralangelo的工作原理

Neuralangelo采用了即时神经图形原语（instant neural graphics primitives）的技术，这是NVIDIA Instant NeRF的核心技术，可以帮助捕捉更细致的细节和纹理。Neuralangelo首先从一个二维视频中选择几帧图像，这些图像从不同的角度拍摄了一个物体或场景。然后，它确定每一帧图像的相机位置，并根据这些信息创建一个粗略的三维表示，就像一个雕塑家开始切割出物体的形状一样。接着，它对渲染进行优化，使细节更加清晰，就像一个雕塑家精心打磨石头，使其模仿出布料或人体的质感一样。最终的结果是一个可以用于虚拟现实应用、数字孪生或机器人开发的三维物体或大规模场景。

Neuralangelo的优势和应用

Neuralangelo相比于之前的三维重建方法，有着显著的优势。它可以有效地恢复真实场景中的密集三维表面结构，即使没有辅助输入如深度信息。它还可以转换复杂材料的纹理，包括屋顶瓦片、玻璃窗和光滑大理石等，从二维视频到三维资产。它所生成的三维结构具有高度逼真性，使得开发者和创意专业人士可以快速地使用智能手机拍摄的视频来创建可用的虚拟物体。

Neuralangelo为各种领域提供了巨大的潜力和价值。例如，在艺术领域，它可以帮助艺术家将真实世界中的物体导入到设计应用中，进行进一步的编辑和创作。在视频游戏开发领域，它可以帮助开发者将详细的物体——无论是小雕像还是大型建筑——导入到虚拟环境中，增强游戏的真实感和沉浸感。在机器人和工业数字孪生领域，它可以帮助开发者构建精确和完整的三维场景模型，提高机器人的感知能力和数字孪生系统的效率。

Neuralangelo的展示和评价

NVIDIA研究团队在CVPR 2023会议上展示了Neuralangelo，并发布了相关论文和项目页面。他们还在NVIDIA博客上发布了一篇介绍Neuralangelo的文章，并附上了一段演示视频。在视频中，他们展示了Neuralangelo如何重建各种物体和场景，包括米开朗基罗创作的大卫雕像、一辆平板卡车、以及NVIDIA湾区园区内部和外部等。

Neuralangelo受到了业界和媒体的广泛关注和好评。NVIDIA高级研究总监兼论文合著者刘明宇表示：“Neuralangelo提供的三维重建能力将对创作者有巨大的好处，帮助他们在数字世界中重现真实世界。” Tuttotech网站称赞Neuralangelo是“一种令人惊叹的人工智能生成系统”，并指出它“可以为各种应用提供无限可能性”。El Comercio网站则认为Neuralangelo是“一种可能引发各种技术领域革命的人工智能”。

参考文献

Zhaoshuo Li, Thomas Müller, Alex Evans, Russell H. Taylor, Mathias Unberath, Ming-Yu Liu, Chen-Hsuan Lin. Neuralangelo: High-Fidelity Neural Surface Reconstruction. CVPR 2023. https://research.nvidia.com/publication/2023-06_neuralangelo-high-fidelity-neural-surface-reconstruction

Isha Salian. Digital Renaissance: NVIDIA Neuralangelo Research Reconstructs 3D Scenes. NVIDIA Blog. June 1, 2023. https://blogs.nvidia.com/blog/2023/06/01/neuralangelo-ai-research-3d-reconstruction/

NVIDIA Neuralangelo genera modelli 3D dai video registrati con lo smartphone. Tuttotech. June 1, 2023. https://www.tuttotech.net/news/2023/06/01/nvidia-neuralangelo-3d-video-smartphone.html

Neuralangelo: la nueva IA de NVIDIA que permite generar objetos 3D a partir de videos. El Comercio. June 1, 2023. https://elcomercio.pe/tecnologia/inteligencia-artificial/neuralangelo-la-nueva-ia-de-nvidia-que-permite-generar-objetos-3d-a-partir-de-videos-inteligencia-artificial-noticia/