TPAMI 2025 | 基于可解释优化展开网络的低光图像增强

论文信息

题目：Interpretable Optimization-Inspired Unfolding Network for Low-Light Image Enhancement

基于可解释优化展开网络的低光图像增强

作者：Wenhui Wu; Jian Weng; Pingping Zhang; Xu Wang; Wenhan Yang; Jianmin Jiang

论文创新点

1. 基于Retinex的深度展开网络（URetinex-Net++）：提出了一种新的Retinex分解方法，将优化问题展开为一个可学习的深度网络，能够将低光图像分解为反射层和光照层。
2. 自适应拟合隐式先验的展开优化模块：引入了两个网络来自适应地拟合隐式先验，能够在数据驱动的方式下实现噪声抑制和细节保留。
3. 跨阶段融合块（CSFB）：提出了跨阶段融合块，通过融合不同展开阶段的反射层信息，有效缓解了色彩缺陷问题。该模块能够充分利用早期展开阶段的丰富色彩信息，同时抑制噪声的引入，提升了增强结果的色彩饱和度和自然度。
4. 空间一致性损失函数：在组件调整模块中引入了空间一致性损失函数，替代了传统的SSIM损失。

摘要

基于Retinex模型的方法在低光图像增强（LLIE）中通过精心设计的先验进行分层操作，表现出良好的效果。然而，手工设计的先验和传统的优化算法在解决分层分解问题时缺乏适应性和效率。为此，本文提出了一种基于Retinex的深度展开网络（URetinex-Net++），它将优化问题展开为一个可学习的网络，将低光图像分解为反射层和光照层。通过将分解问题建模为隐式先验正则化模型，设计了三个基于学习的模块，分别负责数据依赖的初始化、高效展开优化和灵活组件调整。特别是，提出的展开优化模块引入了两个网络，以数据驱动的方式自适应地拟合隐式先验，从而实现分解组件的噪声抑制和细节保留。URetinex-Net++是URetinex-Net的进一步增强版本，引入了跨阶段融合块以缓解URetinex-Net中的色彩缺陷。因此，在视觉质量和定量指标上都能获得更好的性能，同时仅引入少量参数且计算时间较少。通过在真实世界低光图像上的广泛实验，定性和定量地证明了所提出的URetinex-Net++相对于现有方法的有效性和优越性。

关键词

• 低光图像增强
• Retinex理论
• 展开优化

3 提出的基于优化展开的网络

在本节中，首先介绍了我们提出的方法的公式化，然后介绍了整个框架的细节。

3.2 URetinex-Net++框架

由于设计特定的正则化项和具有挑战性，我们利用深度网络来自适应地拟合和的物理先验。因此，基于上述优化方案，我们将更新步骤映射到深度展开网络，并提出了一种新的LLIE框架。如图2所示，提出的URetinex-Net++由三个模块组成，即初始化模块（IM）、展开优化模块（UOM）和组件调整模块（CAM）。这三个模块的作用如下：

1. IM旨在初始化两个信息丰富的组件，而不是无意义的值，以便后续优化能够顺利进行。
2. UOM旨在将交替优化方案编码为展开网络，使得四个单变量子问题可以在次迭代中迭代求解，并更新相应的变量。
3. CAM旨在以分支方式调整光照层和反射层，使得分解的组件被单独处理，并输出恢复的正常光图像。

此外，每个模块的结果在图1中可视化。

3.2.1 初始化模块

初始化在优化过程中起着重要作用。随机或全零初始化在传统的优化方案中广泛使用，例如ADMM[40]。考虑到可靠的初始化对性能有益，我们希望获得一个具有更丰富信息的初始化光照和反射层，而不是随机值或全零。

直观地，为了保留的整体结构，初始光照可以通过寻找三个颜色通道的最大值来初始化[7]，初始反射层可以通过推导，其中表示逐元素除法。然而，这种刚性的初始化方式会导致色彩失真。如图3(b)所示，三个通道（例如，{R, G, B}）的强度统计特性发生了变化。

因此，为了揭示粗略细节但避免引起失真，我们提出了一个数据依赖的初始化模块，它使用一个全卷积（Conv）网络来自适应地同时学习和。初始化模块包括三个Conv-LeakyReLU层，随后是一个Conv层和ReLU层。整个Conv层的核大小设置为3×3。组件初始化的训练损失函数设计如下：

其中是超参数，表示RGB通道。表示范数，定义为，其中表示矩阵中的一个元素。第一项是重建损失，第二项旨在鼓励初始化的光照保留的整体结构。

由于缺乏真实反射层，正常光图像用于生成清晰的反射层，该反射层应接近低光图像的反射层。因此，正常光图像的反射层在后续展开优化模块中用作参考。基于初始化模块的网络架构，我们进一步在正常光图像的光照上集成了结构感知的平滑约束，然后分解正常光图像的训练损失函数表示为：

其中、和分别表示正常光图像、的反射层和的光照层，和是超参数，表示包括水平和垂直方向的梯度操作。第三项的值计算为两个方向的平均值，光照图的总变差由图像的梯度加权，以便光照可以在结构感知的方式下进行空间平滑。

3.2.2 展开优化模块

展开优化模块旨在迭代求解四个单变量子问题，以在次迭代中更新相应的变量。通过将四个更新步骤编码为深度网络架构，优化被展开为个阶段，每个阶段对应一次迭代。如图4(a)所示，、、和交替更新。然后，我们依次描述所提出模块中的更新规则。

和的更新规则: 公式(5)中的P子问题是一个经典的最小二乘问题，其闭式解可以轻松获得。通过对公式(5)关于求导并将导数设为0，我们有：

通过使用，公式(11)被重写为：

其中表示矩阵的迹。因此，我们可以得到以下方程：

因此，P子问题的闭式解可以推导为：

其中表示全1矩阵。

因此，给定初始化的反射层和P子问题的闭式解，关于的更新公式可以表示为：

类似地，更新可以通过求解公式(7)中的Q子问题来完成。由于低光图像恢复在RGB颜色空间中进行，三个通道的反射层共享相同的光照层，因此光照层被假设为灰度。因此，公式(7)被重写为：

通过对公式(16)关于求导并将导数设为0，我们有：

因此，的更新公式可以重新排列为：

和的更新规则: 传统上，如果公式(6)和(8)中的先验项足够简单，它们可以通过近端算子求解，即，，其中表示近端算子。例如，如果，它可以通过收缩阈值算子[43]求解。然而，当面对复杂或未知的先验时，求解上述近端算子变得困难。因此，我们提出通过基于学习的方法[44, 33]从真实数据中探索物理先验，而不是引入手工设计的先验来手动设计特定的损失函数。换句话说，引入了两个网络和来分别执行和的更新。

具体来说，用于拟合的隐式先验的网络描述如下：

其中作为的输入，表示可学习参数。我们采用一个简单的全卷积网络，包含五个Conv层，随后是ReLU激活，以学习的隐式先验，从而可以从训练数据中学习先验，而无需设计复杂的正则化项。

因此，通过将退化的输入到可学习的去噪网络中，可以获得更干净的反射层。特别是，如图5所示，反射层中出现的失真程度与光照层的亮度高度相关，较暗的区域伴随着更严重的退化。基于这一观察，可以设计一个涉及光照组件（即）的隐式先验，并将其代入，以便与聚合作为输入，用于指导反射层恢复。用于执行更新的网络可以表示为：

其中表示中的可学习参数。我们使用Squeeze-and-Excitation（SE）[45]块来融合和以更新，其细节如图4(b)所示。

为了保持最佳的成本效益，展开优化模块以端到端的方式进行训练，其中和的参数和网络架构在不同阶段共享。我们初始化模块生成的正常光反射层在展开网络的优化过程中用作参考。至于损失函数，我们总结了反射层和光照层的损失函数，包括每个阶段和之间的均方误差（MSE）损失，和最终恢复的反射层之间的MSE损失、结构相似性损失（SSIM）、感知损失[46]，以及每个阶段和之间的MSE损失，以及的总变差损失。相应地，展开优化模块的训练损失函数可以描述如下：

其中表示总阶段数，表示在ImageNet上预训练的高层特征提取器，使用VGG19网络[47]，、、和是权衡参数。

如图所示，即使在深度网络架构方面，所提出的展开优化模块也具有良好的可解释性，其中、、和都具有明确的含义。此外，它避免了显式的正则化设计，并以深度学习的方式自适应地恢复光照和反射层。

3.2.3 组件调整模块

通过展开优化模块，我们可以基于这种分层分解策略获得低光图像的两个估计组件。然后，我们设计了一个组件调整模块来对估计的光照层和反射层进行后处理，其中包括两个块来分别调整这两个层。第一个块是光照调整块，旨在增强光照层，第二个块是跨阶段融合块，旨在精细化估计的反射层。

光照调整块: 在实践中，图像增强没有光照级别的真实值，因此灵活调整光照以满足不同的实际需求是必要的。对于LLIE，Gamma校正广泛用于增强光照图[13, 25, 15]，即，其中表示调整后的图，可变的因子经验上设置为1/2.2。然而，正如[21]中所建议的，学习方式的光照调整比Gamma校正更符合实际情况。为此，我们提出了一个光照调整块，它将低光光照和用户指定的增强比率作为输入。所提出的调整细节可以描述如下：

其中表示的可学习参数。

由于光照图的分布不均匀，我们将扩展为一个与大小相同的图。因此，调整后的光照通过将和的拼接输入到中获得。考虑到计算效率，我们采用了与初始化模块相同的轻量级网络结构。为了保持一致性并平滑调整光照，我们将该块中的卷积核大小扩大到5×5。

跨阶段融合块: 尽管先前版本（即URetinex-Net）在充分揭示低光图像方面表现出优越性，特别是在细节保留和噪声抑制方面，但URetinex-Net生成的结果往往饱和度较低。基于早期展开阶段的反射层具有更丰富的颜色信息的观察，我们提出利用这些信息来弥补色彩偏移问题。然而，早期展开阶段的反射层可能受到严重噪声的影响，因此直接使用这些反射层可能会给增强结果带来失真。为了充分利用反射层中的有用颜色信息并自适应地抑制噪声的参与，我们在URetinex-Net++中引入了一个跨阶段融合块，其结构如图4(c)所示。

4 实验

声明

本文内容为论文学习收获分享，受限于知识能力，本文对原文的理解可能存在偏差，最终内容以原论文为准。本文信息旨在传播和学术交流，其内容由作者负责，不代表本号观点。文中作品文字、图片等如涉及内容、版权和其他问题，请及时与我们联系，我们将在第一时间回复并处理。