性能优于ReLU，斯坦福用周期激活函数构建隐式神经，Hinton点赞

机器之心报道

参与：杜伟、小舟、魔王

使用非线性周期函数构建的神经架构效果优于 ReLU？斯坦福的一项研究做出了尝试。

这个非线性激活函数效果比 ReLU 还好？近日，斯坦福大学的一项研究《Implicit Neural Representations with Periodic Activation Functions》进入了我们的视野。这项研究提出利用周期性激活函数处理隐式神经表示，由此构建的正弦表示网络（sinusoidal representation network，SIREN）非常适合表示复杂的自然信号及其导数。

Geoffrey Hinton 转发了这项研究，并表示该项目的讲解视频或许有助于理解网格单元。

研究人员在项目主页上展示了 SIREN 的效果，例如 SIREN 和 ReLU 在处理视频时的不同表现：

具备像素坐标和时间坐标的 SIREN 可以用于参数化视频。上图展示了 SIREN 使用真值像素值进行直接监督，其参数化视频的效果大大超过基于 ReLU 的多层感知机。

接下来，我们来看研究人员提出 SIREN 的动机和详细细节。

由神经网络参数化的隐式定义、连续可微的信号表示已经成为一种强大的范式。与常规表示相比，它具备很多优点。

但是，当前用于隐式神经表示的网络架构无法对信号进行精细建模，也无法表示信号的时空导数。但实际上，对于许多被隐式定义为偏微分方程的解的物理信号而言，这是十分必要的。

近日，斯坦福大学的一项研究提出利用周期性激活函数进行隐式神经表示，即正弦表示网络（sinusoidal representation network，SIREN），并展示了它们非常适合表示复杂的自然信号及其导数。

论文地址：https://arxiv.org/pdf/2006.09661.pdf

项目主页：https://vsitzmann.github.io/siren/

研究者分析了 SIREN 激活统计数据，提出了一种有原则的初始化方案，并展示了图像、波场、视频、声音及其导数的表示。

此外，研究者还展示了如何利用 SIREN 来解决具有挑战性的边值问题，比如特定的程函方程（Eikonal equation）、泊松方程（Poisson equation）、亥姆霍兹方程（Helmholtz equation）以及波动方程。

最后，研究者将 SIREN 与超网络相结合，来学习 SIREN 函数空间的先验知识。

SIREN 概述

研究者将研究重点放在了能够满足以下方程式的函数 Φ：

该研究旨在解决公式 (1) 中的问题。研究者将该问题看作一个可行性问题，即找出函数 Φ 满足 M 约束集合

，其中每一个 M 将函数 Φ 及其导数与量 a(x) 关联起来：

于是，该问题可以写成损失函数的形式，即惩罚域 Ω_m 上每个约束的偏差：

研究者将函数 Φ_θ 参数化为全连接神经网络，并使用梯度下降解决优化问题。

用于隐式神经表示的周期激活函数

该研究提出了一种简单的神经网络架构 SIREN 来处理隐式神经表示。SIREN 使用正弦作为周期激活函数：

有趣的是，SIREN 的任意导数都是 SIREN，就像正弦的导数是余弦，即相移正弦。因此，SIREN 的导数继承了 SIREN 的特性，使得研究者使用「复杂」信号监督 SIREN 的任意导数。

该研究将展示，SIREN 可以通过对激活分布的控制进行初始化，这可以使研究者创建深层架构。

此外，SIREN 的收敛速度远远超过基线架构，例如它在一块现代 GPU 上拟合单张图像数百次仅需数秒，同时图像保真度还更高，如下图 1 所示：

激活分布、频率，以及合理的初始化机制

该研究展示了一种有助于高效训练 SIREN 的合理初始化机制。其核心思想是：保存网络中的激活分布，使得初始化的最终输出不依赖于层数。注意：构建 SIREN 需要精心挑选均匀分布权重，否则准确率和收敛速度都会很糟糕。

我们先来看使用均匀分布输入 x ∼ U(−1, 1) 的单个正弦神经元的输出分布。该研究提出的初始化机制使用 ADAM 优化器在所有实验中均实现了快速、稳健的收敛。

SIREN 效果如何

在实验部分，研究者将 SIREN 与 ReLU、TanH、Softplus、ReLU P.E 等网络架构的效果进行了比较。结果显示，SIREN 的性能显著优于所有这些基准方法，收敛速度明显加快，并且成为唯一一个准确表示信号梯度的架构，从而使其可用于解决边值问题。

下面我们来看 SIREN 在处理泊松方程、亥姆霍兹方程、波动方程，以及利用符号距离函数表示形状和学习隐函数空间等五个方面的具体表现。

解决泊松方程问题

研究者表示，通过监督 SIREN 的导数，他们可以解决基于泊松方程的图像问题。实验结果显示，SIREN 同样是唯一一个能够准确快速拟合图像、梯度和拉普拉斯域的架构。

SIREN 与其他几种基准方法的展示效果图如下所示：

就具体细节来说，下图 3 展示了使用 SIREN 方法的拟合效果以及图像无缝融合到梯度域（gradient domain）的效果。

图 3：泊松图像重建和泊松图像编辑。

利用符号距离函数表示形状

如下图 4 所示，该研究提出的周期性激活函数显著增加了物体的细节以及可用神经 SDF 表示的场景复杂度，并且仅使用单个五层全连接神经网络即实现了整个房间的参数化表示。

图 4：SIREN 与 ReLu 基准方法的形状表示细节展示。

解决亥姆霍兹方程问题

以下动图为利用 SIREN、ReLU 和 TanH 基准架构解决不均匀 Helmholtz 问题的效果展示：

研究者利用 SIREN 解决不均匀亥姆霍兹方程问题，并与基于 ReLU 和 Tanh 等的网络架构进行了比较，具体细节如下图 5 所示：

学习隐函数空间

下图 6 展示了基于不同数量的像素观察结果进行的测试时重建。以下所有修复结果均使用相同的模型和相同的参数值生成。

下表 1 给出了与 [50] 的定量比较，表明对 SIREN 表示的泛化至少与对图像的泛化同样有效。

解决波动方程问题

在时间域中，SIREN 成功地解决了波动方程问题，而基于 Tanh 的网络架构却未能找出正确的解。两者的实现动图展示如下：

利用 SIREN 与基于 Tanh 网络架构解决波动方程初始值问题的细节如下：