AI 实时生成材质，效果直逼好莱坞大片

AI 研习社按：这里是，雷锋字幕组编译的Two minutes paper专栏，每周带大家用碎片时间阅览前沿技术，了解AI领域的最新研究成果。

原标题 ：Gaussian Material Synthesis (SIGGRAPH 2018)

翻译 | 程炜 整理 | 凡江

如果你要使用 Principled Shader 通过手动方式创建不同材质上逼真的光影效果，使用者必须对大量的材质参数进行手动微调，并且在每次设置后等待图片渲染才能完成整个过程。这需要你掌握一定的专业技能，并且经过大量的试错过程才能达到最好的效果。

为了优化这个流程，我们开发了基于学习的系统，它可以大批量地进行材质合成。

（1）首先，用户看到的是一个材质图库，左上角显示分数。这里我们学习了玻璃和透明材质的概念，通过学习几十个高分数的样本，我们的系统可以从学习到的分类中推荐更多新的材质，学习过程通常需要几秒钟，而大批量地进行推荐所需要的时间可以忽略不计。然后可以使用这些推荐将材质填充到场景中，通常每个推荐花费 40-60 秒来渲染全局照明。在真实世界的工作流程中，即使是对中等大小的图库来说，这个速度也是不能接受的。

（2）下一步，我们提出了一个卷积神经网络，它可以预测出这些材质的图像，使之与全局照明方法产生的图片相近，而且每幅图像只需要 3 毫秒，有时推荐的材质接近使用者的期望，但仍需要进行微调。

（3）最后，我们在直观二维隐空间中嵌入高维着色器描述符，使我们即使没有专门知识也可以对色彩进行探索和调整，但是如果没有更多的信息，它并不是非常有用。因为使用者并不知道哪个区域提供了有用的与它们分数符合的材质模型，我们重点关注隐空间技术，它可以结合高斯过程回归，提供一种期望偏好的直观色彩编码，帮助我们将关注区域高亮显示。

而且，我们的卷积神经网络可以提供这些图像的实时预测结果，这些预测与真正的渲染图像难以分辨，并且实时生成。除了偏好图，这个神经网络提供了一种可能，可以将我们希望进行微调的这些新材质的期望相似度可视化，结合偏好和相似图，我们得到一个色彩编码，它会引导用户在隐空间中将材质调整为相似并且期望分数高。

我们已经进行了一个扩展的实验，加入更多表达形式的着色器，包括过程纹理反照率和替换，使用学习到的材质，推荐，以及嵌入的隐空间，填充接下来的场景，我们提出了一个可以大批量地进行材质合成系统，通过对用户偏好的学习，它可以从适量的样本中进行大量新材质模型的快速推荐。

除了这个流程，我们还结合了三种强大的学习算法，从而为实时的逼真材质可视化，颜色探索，以及二维隐空间微调提供了可能，我们相信这个特征设置为大批量材质合成提供了有用的解决方案，无论是对于新手还是专家来说，都希望未来将多种先进算法，结合到更多的探索工作当中。

视频原址：

https://www.youtube.com/watch?v=6FzVhIV_t3s

论文原址：

https://arxiv.org/pdf/1804.08369.pdf

英伟达教你用深度学习做图像修复，确定不试一下？