SeemoRe | 专家挖掘促进更高效超分方案，Radu Timofte团队提出SeemoRe

关注「AIWalker」并星标

从此AI不迷路

https://arxiv.org/pdf/2402.03412.pdf https://github.com/eduardzamfir/seemoredetails

本文概述

从低分辨率（LR）输入重建高分辨率（HR）图像对图像超分辨率（SR）提出了重大挑战。虽然最近的方法已经证明了各种目标定制的复杂操作的有效性，但这些不同操作的直接堆叠可能会导致大量的计算负担，从而妨碍它们的实际用途。

为此，我们引入了SeemoRe，这是一种采用专家挖掘的高效 SR 模型。我们的方法战略性地结合了不同级别的专家，采用协作方法。在宏观层面上，我们的专家解决了排名和空间方面的信息特征，提供了全面的理解。随后，该模型通过利用低级别专家的组合来深入研究级别选择的微妙之处。通过利用专门研究对准确 SR 至关重要的不同关键因素的专家，我们的模型擅长揭示复杂的特征内细节。这种协作方法让人想起“看到更多”的概念，使我们的模型能够在高效的设置中以最小的计算成本实现最佳性能。

本文方案

接下来，我们将揭示为高效超分辨率量身定制的模型的基本组成部分。如图 2 所示，我们的整体流程包含一系列

个残差组 (RG) 和上采样器层。

• 初始步骤涉及应用

卷积层从输入的低分辨率 (LR) 图像生成浅层特征。

• 随后，部署多个堆叠的 RG 来细化深层特征，在保持效率的同时简化高分辨率 (HR) 图像的重建。每个RG由一个Rank调制专家（RME）和一个Spatial调制专家（SME）组成。
• 最后，全局残差连接将浅层特征连接到深层特征的输出，以捕获高频细节和上采样器层（

和PixelShuffle) 的部署是为了更快的重建。

我们提出的 Rank 调制专家 (RME)（见图 2）探索了一种类似 Transformer 的架构，使用低秩专业知识混合 (MoRE) 来有效地建模相关的全局信息特征，并使用 GatedFFN来精炼上下文特征聚合。

如图 3 所示，从层归一化输入张量

中，我们使用

卷积进行特征投影，然后沿通道维度进行分割以创建两个不同的视图。为了有效聚合像素级跨通道上下文，我们利用递归跨步卷积t次，然后进行细化和上采样步骤，从而构建表示为

为了进一步深入研究提取的特征之间复杂的相互依赖关系以降低复杂性，我们在对全局上下文关系进行建模的同时对输入进行低秩分解。

本文实验