Meta研究根据HDR图像重建真实世界反射属性和阴影的方法

查看引用/信息源请点击：映维网

根据HDR图像重建真实世界反射属性和阴影

（映维网 2021年11月02日）忠实地恢复世界的副本对于虚拟现实、增强现实和混合现实而言至关重要。虚拟现实设备将用户沉浸在虚拟世界中，它们依赖于场景在曲面几何、材质属性和照明方面的表示。由于手动制作这样的虚拟世界模型非常冗长，所以对能够自动重建真实世界环境的方法的需求越来越大。

然而，它们的实用价值在很大程度上取决于虚拟世界的真实感。MR和AR则依靠真实场景表示来渲染虚拟对象，它们相对于其周围环境需要具有正确的物理交互和视觉外观。尽管曲面几何的重建已经相当成熟，但场景反射和照明的估计依然是一个困难的挑战，特别是如果我们想直接从输入视频中估计所述特性。这项研究能够将虚拟世界和现实世界更紧密地结合在一起，从而允许用户沉浸在真实的数字环境之中。

在名为《Recovering Real-World Reflectance Properties and Shading From HDR Imagery》的论文中，Facebook和慕尼黑工业大学介绍了一种根据HDR图像重建真实世界反射属性和阴影的方法。

在恢复复杂反射和阴影的方法中，给定场景几何体的基于网格的3D重建、覆盖所述几何体及其相应姿态的HDR RGB帧序列，团队首先重建并估计照亮的漫反射HDR纹理。然后，仅利用纹理几何建立反照率和阴影估计的基础，并且给定对象分割，估计每个对象的镜面材质参数。请注意，与其他方法相比，团队的输入假设仅在HDR数据方面有所不同，这允许系统覆盖场景从最暗到最亮的动态范围。

Microfacet BRDF模型：团队只关注各向同性、介电（非金属）和不透明（非半透明/透明）的对象。BRDF的一个理想特性是将其加性分离为漫反射和非漫反射component，因为它允许将BRDF参数估计问题分为两个单独的、更容易解决的问题。

照明漫反射HDR纹理估计：团队通过将视频帧投影到曲面几何来估计照明漫反射HDR纹理。

反照率和阴影估计：团队现在能够有效利用HDR纹理的强度与真实亮度成比例的信息。

镜面反射外观估计：给定每个表面点处照亮漫反射场景Ld（x）的估计，团队可以估计每个对象的非漫反射BRDF参数ψ和ψ

在实验中，给定每个表面点的反照率和阴影，以及每个对象的镜面反射外观，团队现在可以定量和定性地评估所提出方法的有效性。研究人员使用Replica数据集进行评估，因为它提供了适当的输入数据：完整场景的重建网格、HDR视频、每帧camera姿态和语义对象实例信息。对于反照率和阴影估计的定量验证，团队使用自己捕获的数据集来控制场景中的照明和对象。房间总共有四个globe light和三个LED面板作为光源，它们的波长和发射不同。两次扫描在各自的照明方面有所不同：对于第一次扫描，所有四个globe light和一个LED面板都打开（扫描/重建A）。对于第二次扫描，仅打开了两个LED面板（扫描/重建B）。请注意，研究人员为每个数据集预先计算照明漫反射HDR纹理集。

对于反照率和阴影验证，团队使用重建A和B以及Replica数据集的场景来评估前面描述的反照率和阴影。通过NVidia的OptiX引擎，研究人员从每个对应的表面元素每图素投射10000条光线，以获得阴影和反照率的去噪估计值。这一过程需要时间∼10分钟。

对于镜面反射外观估计验证，为了进行定量和定性比较，团队在Replica数据集部署了前面所述的方法；使用OptiX为每个像素对应的表面元素投射200条光线。

最后，有了完整的BRDF（反照率、镜面反射和粗糙度），团队可以在新的合成照明和其他虚拟对象情景下对整个场景进行完整的视觉精确渲染。所以，研究人员部署了一个具有四次反弹的路径跟踪引擎。添加到办公室场景重建中的兔子和雕像看起来忠实而逼真，因为它们考虑了整个场景的外观，从而产生了一致的阴影和材质效果。

当然，团队指出了所述研究的限制。因为假设给定几何体，所以劣化可能会对结果产生负面影响，这是已知几何体反向渲染的标准限制。在测试中，团队没有遇到导致系统失败的互反射，因为选择目标帧是为了最大化基于直接照明的镜面反射。但由于单反弹假设，团队预计强互反射的存在会限制框架的性能。在未来，研究人员的目标是克服照明漫反射HDR纹理的特定限制，因为它可能会受到与视图相关的烘焙效果的影响。

相关论文：

Recovering Real-World Reflectance Properties and Shading From HDR Imagery

https://paper.nweon.com/11358

总的来说，研究人员介绍了一种从HDR图像估计完整3D场景的BRDF和阴影特性的方法。团队能够仅使用重建的几何体和HDR纹理来恢复每个表面元素的反照率和阴影。团队同时提供了一种自动计算每个对象的目标帧的方案；然后使用所述参数来估计每个对象的非漫反射材质参数。在一系列具有挑战性的真实世界HDR数据集上所进行的大量实验表明，所述方法能够创建几乎与真实世界无法区分的重建效果：

一种利用HDR纹理估算每个表面元素的反照率和明暗度的有效方法。

在估计过程中为场景中的每个对象计算理想目标帧的过程

一种使用嵌套最小二乘优化网格搜索估计非扩散BRDF的方法。