每日学术速递4.9

1.PopulAtion Parameter Averaging (PAPA)

标题：总体参数平均 (PAPA)

作者：Alexia Jolicoeur-Martineau, Emy Gervais, Kilian Fatras, Yan Zhang, Simon Lacoste-Julien

文章链接：https://arxiv.org/abs/2304.03094

项目代码：https://github.com/SamsungSAILMontreal/PAPA

摘要：

集成方法结合了多个模型的预测以提高性能，但它们在推理时需要更高的计算成本。为了避免这些成本，可以通过平均权重（模型汤）将多个神经网络组合成一个。但是，这通常比集成性能差得多。权重平均仅在权重足够相似（在权重或特征空间中）可以很好地平均但又足够不同以从组合它们中获益时才有用。基于这个想法，我们提出了群体参数平均（PAPA）：一种结合了集成的普遍性和权重平均效率的方法。PAPA 利用大量不同的模型（在不同的数据顺序、扩充和正则化上训练），同时偶尔（不是太频繁，也不是太少）用权重的总体平均值替换网络的权重。PAPA 缩小了平均和集成之间的性能差距，与独立训练（非平均）相比，CIFAR-10 模型的平均准确度提高了 1.1%，CIFAR-100 提高了 2.4%，ImageNet 提高了 1.9% ） 楷模。

Subjects: cs.CV

2.Diffusion Models as Masked Autoencoders

标题：作为掩码自动编码器的扩散模型

作者：Chen Wei, Karttikeya Mangalam, Po-Yao Huang, Yanghao Li, Haoqi Fan, Hu Xu, Huiyu Wang, Cihang Xie, Alan Yuille, Christoph Feichtenhofer

文章链接：https://arxiv.org/abs/2304.03283

项目代码：https://weichen582.github.io/diffmae.html

摘要：

长期以来，人们一直认为生成可以促进对视觉数据的真正理解。与此相一致，我们根据最近对去噪扩散模型的兴趣重新审视生成式预训练视觉表示。虽然直接使用扩散模型进行预训练不会产生强大的表示，但我们在屏蔽输入上调节扩散模型并将扩散模型制定为屏蔽自动编码器 (DiffMAE)。我们的方法能够 (i) 作为下游识别任务的强大初始化，(ii) 进行高质量的图像修复，以及 (iii) 毫不费力地扩展到视频，从而产生最先进的分类精度。我们进一步对设计选择的利弊进行了全面研究，并在扩散模型和掩码自动编码器之间建立了联系。

3.Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes

标题：神经场满足城市场景逆向渲染的显式几何表示

作者：Zian Wang, Tianchang Shen, Jun Gao, Shengyu Huang, Jacob Munkberg, Jon Hasselgren, Zan Gojcic, Wenzheng Chen, Sanja Fidler

文章链接：https://arxiv.org/abs/2302.01660v2

项目代码：https://nv-tlabs.github.io/fegr/

摘要：

我们从捕获的图像重建和内在分解场景将使许多应用成为可能，例如重新照明和虚拟对象插入。最近基于 NeRF 的方法实现了令人印象深刻的 3D 重建保真度，但将光照和阴影烘焙到辐射场中，而基于网格的方法通过可微渲染促进内在分解尚未扩展到室外场景的复杂性和规模。我们为大型城市场景提出了一种新颖的逆向渲染框架，能够从一组具有可选深度的 RGB 图像中联合重建场景几何、空间变化材料和 HDR 照明。具体来说，我们使用神经场来解释初级光线，并使用显式网格（从底层神经场重建）来对产生高阶照明效果（例如投射阴影）的次级光线进行建模。通过忠实地将复杂的几何体和材质从光照效果中分离出来，我们的方法可以在多个室外数据集上实现具有镜面反射和阴影效果的逼真重新照明。此外，它还支持基于物理的场景操作，例如使用光线追踪阴影投射的虚拟对象插入。