【阅读笔记】超分之LANR-NLM算法

论文信息

[Single Image Super-Resolution via Locally Regularized Anchored Neighborhood Regression and Nonlocal]-Junjun Jiang, 2017, IEEE Transactions on Multimedia

前置内容

邻域嵌入（Neighbor Embedding, NE）是“样本-样本”映射，在训练样本中寻找测试样本的相似邻居特征样本，计算量略大。

稀疏编码（Sparse Coding）重建的过程是从字典中自适应的选择一个或者多个字典原子，这些字典原子适合当前输入低分辨率图像块特征，最后利用这些字典原子的线性组合来得到相应的高频细节特征。需要在重建过程计算LR到HR图的原子投影矩阵，计算复杂度高。

锚点邻域回归（Anchored Neighborhood Regression, ANR）改进SC算法，SC的原子投影矩阵需要在重建过程进行在线处理，耗时很大。ANR算法提出找一个投影矩阵可以在训练阶段离线计算，映射关系确定后在重建过程直接使用，可以实时重建高分辨率图像。

稀疏表示的思想在于LR字典与HR字典可以共用一套稀疏系数矩阵

LR: 低分辨率；HR：高分辨率

LANR-NLM算法

Junjun Jiang提出LANR-NLM算法，处理learning the mapping functions问题，使用非局部自相似性和局部几何先验（with nonlocal self-similarity and local geometry priors）加入LR-HR映射关系中。

非局部自相似先验利用了自然图像中相似块的冗余，而数据空间的局部几何先验可用于规范LR和HR空间之间非线性关系的建模。基于以上两个考虑，在正则化patch表示之前应用局部几何，然后利用非局部均值滤波器来改善超分辨率结果。

在重建阶段用NLM增强细节，会增加重建时间

实验

指标：peak signal to noise ratio (PSNR), structure similarity (SSIM) index and feature similarity (FSIM)

图像：Set5” and “Set14

参数：HR 图用 7x7的模板的高斯滤波标准偏差1.6（standard deviation of 1.6），下采样3倍

HR patch 9x9, LR patch 3x3 overlap of 2 pixels

特征提取：LR images, four 1-D fifilters，同Yang，Zeyde

降维：应用PCA降维法将提取的特征投影到一个低维子空间上，同时保持总方差的99.9%。

30维的特征用于采样

HR patch特征 ：从HR图像中减去插值的LR图像来

训练数据：91个训练图像，生成135581 patch对，最后得到1024个字典

λ1 = 1e − 5,

K = 200, and α = 11

λ2=0.005

总体来说较对比算法 指标更好

算法步骤

在训练阶段，先收集大量 LR 和 HR 图像组成的训练集，然后特征提取匹配的patch对，形成 LR 和 HR 特征样本训练集。 通过稀疏编码训练一个紧凑的 LR 字典，并在 LR 和 HR 特征共享相同表示的假设下构建相应的 HR 字典。 然后使用 LANR 模型来学习每个字典原子的投影矩阵。

在重建阶段，我们首先在LR字典中搜索每个patch中最相似的原子，然后使用训练阶段得到的该原子的投影矩阵来预测HR特征。最后，使用一种NLM滤波器增强方法来减少估计的HR图像中的伪影。

改进：1、LANR模型学习投影矩阵，2、NLM滤波减少伪影

规范化的局部正则化锚定领域回归

在训练阶段引入新的约束项得到新的投影矩阵

其中 . 表示点向量积， \lambda1是正则化参数。g_i是K维惩罚向量，与输入LR块 y_i和每个K最接近的字典原子有关，与相关性 corr(y_i,D_L^k)成反比。

与Yang 的ANR算法相同，一般不用欧氏距离而用某种相关性，比如向量内积

其中 \alpha用于调整本地适配器的重量衰减速度，其设置为11

重写目标函数公式，得：

N_L和G是块对角矩阵，N^L = blkdiag(N_{1,j}^L , N_{2,j}^L,..., N_{N,j}^L ) and G=blkdiag(g_1 , g_2 ,..., g_N )

推断，Y= D_Lw = DHD_H w

同样，N^Lw = DHN^H w

重写目标函数公式，得

非局部相似的自适应正则化

在重建阶段后，得到output 对HR patch进行NLM增强，就是每一个HR patch找到相似得patch然后将相似的patch与HR patch进行相加均值