论文复现与算法讨论学习

本周看到一篇非常有创建的图像处理任务之语义分割的论文《Semantic Soft Segmentation 》，该论文发表在 ACM trans.Graphs.,Vol 37 No.4的第72篇，出自MS 、MITCSAIL和Adobe研究院的几位老师之手。对于图像处理这块我本人也是新近开始一些探索和学习，当然快速进入和认识一个领域的办法就是向领域中最顶尖的选手学习。我想这篇文章的意义也在于此，另外，我也非常希望自己能够掌握这篇文章的核心技术，在我看来，这篇文章提供了很多新的启示和可能性。

首先介绍一些专业名词，语义软分割(Semantic Soft Segments)，旨在精确表示图像不同区域间的软过渡. 类似与磁力套索(magnetic lasso) 和魔术棒(magic wand) 的功能。

这也是该文章的核心任务所在。

接下来，然我们慢慢品读这篇论文，我想好的算法和理解都是从论文的复现中诞生出来的。

首先可以欣赏一下作者给出的效果视频。

####

现在我们可以从开头理解文章。

## Abstarct 部分

对于文章阅读，学习和理解其背景始终首要的，而在学习背景的当中，明确其目的又非常有意义。

看看这篇文章的目的所在：

从图一中配图介绍上来就说了，我们提出了一个方法，可以实现语义软分割。

We propose a method that can generate soft segments, i.e. layers that represent the semantically meaningful regions as well as the soft transitions between them, automatically by fusing high-level and low-level image features in a single graph structure. The semantic soft segments, visualized by assigning each segment a solid color, can be used as masks for targeted image editing tasks, or selected layers can be used for compositing after layer color estimation. Original images are from [Lin et al. 2014] (top-left, bottom-right), by Death to the Stock Photo (top-right) and by Y. Aksoy (bottom-left).

我们提出了一个方法，可以生成软分割。语义这个词 semantic 在英文中指词义单元，构成语言的语料，在这边用作表征在图片中出现的独立连通单元。对于独立联通单元的理解，可以参考拓扑空间的一些基础概念。在图像认知理论中，图形学和几何学有着本质意义的联系。如何使用计算机实现图像中独立连通单元的划分是一个重要的计算机任务，其所涉及到的主要场景包含，图像重组技术，图像融合技术，图像二次处理等技术。为了便于计算机更好地处理图像，人们单独将此任务独立出来，展开一系列研究工作。

图层理论构成了图像处理的基本思想。所以，第二句作者就解释了layers的概念，layers that represent the semantically meaningful regions.能够代表图像中特殊含义的区域被独立出来，从而构成图层。那么计算机语义分割任务可以进一步理解为对图像构成的图层进行有效抽提的工作。

后面用 as well as 承接前面的layers 提出了soft transitions 这一概念，从而本质的提出本文的核心目的在于如何用他们提出的method (they proposed决目的图层之间的软性过渡的问题，简单讲，在图像成像学中，不存在图层这一概念，图层是图像处理领域的处理技术之一。自然条件下的成像是自然光通过反射达成的，不同语义区域不存在图层隔离的概念，彼此之间的过渡饱满真实，不存在突兀和尖锐感。而当数字图像存储技术实现之后，图像上的语义区域被像素值所表示，即图像有细节上的隔断，并不存在理论上的连续过渡。由此，图像处理领域发展处锐化、羽化、滤波等插值算法，从而满足图像语义区域的合理过渡。进一步，如何实现反向结构语义图层呢，本文作者提出自动融合（fusing）

高级和低级别图像特征的办法来针对数字图像进行完整解构和语义重塑。

fusing这一单词的意义表示出作者使用的策略主要是融合。fusing 本身指金属等的融熔，意指相互熔入彼此，成为一体。在这里理解为图层之间的彼此关联和相互支持来完成构筑。后面作者继续给出了语义软分割的特点和主要应用，即在图像中通过单一颜色显示的，能够在图像编辑任务黑暗能作为蒙版（mask）来处理图像，或者作为目标语义区域选择的手段来为合成图像提供可靠判断的工具。

## 背景介绍完

摘要正文

Accurate representation of soft transitions between image regions is essential for high-quality image editing and compositing. Current techniques for generating such representations depend heavily on interaction by a skilled visual artist, as creating such accurate object selections is a tedious task. In this work, we introducesemantic soft segments, a set of layers that correspond to semantically meaningful regions in an image with accurate soft transitions between different objects. We approach this problem from a spectral segmentation angle and propose a graph structure that embeds texture and color features from the image as well as higher-level semantic information generated by a neural network. The soft segments are generated via eigendecomposition of the carefully constructed Laplacian matrix fullyautomatically. We demonstrate that otherwise complex image editing tasks can be done with little effort using semantic soft segments.

CCS Concepts:•Computing methodologies→Image segmentation;

Additional Key Words and Phrases: soft segmentation, semantic segmentation, natural image matting, image editing, spectral segmentation

摘要部分的转译和理解。开头还是开宗明义，这对写论文来说非常重要，所谓名正言顺，才能师出有名。准确的表示图像语义之间的软性过渡在高质量图像处理和和合成领域具有本质意义。后面紧接着介绍了图像处理领域针对这一问题所面临的困境和现状，从而很好的表示出作者的工作与现实需求完美结合。（不禁赞叹作者太会写文章了~）。对于专业的图像处理工作者而言这是一项tedious task 沉闷而重复的任务。紧接着，in this work，简单明快进入主旨，我们引入了（开发了），作者很谦卑，用了introduce 这个词，而不是develop或者 create 等，从而很好的表明自己的工作是在前人的基础上的进一步拓展，而不是创造性的开拓性的工作。

紧接着，对整个方法进行全貌的描述，作者引入semantic soft segments ，之所以用 segments 而不用segmentation，表明此处是具体的分割方式，而不是抽象的segmation 指的分割概念。后面紧接着阐述这一方法的构成，a set of layers，以及what it is，即有意义区域的准确分割过渡的图层集合。再进一步，我们通过spectral segmantation的角度和结合了图像纹理和色彩特征的图片（graph）结构，以及通过神经网络构成的高维语义信息结合起来处理这一问题。

其中 soft segments （软分割）通过精心构建的拉普拉斯矩阵并求解其特征值来自动实现。

最后，作者提出我们证明了通过soft segments 能够轻松实现复杂的图像编辑任务。

计算机概念：计算机方法论-->图像分割（image segmentation）

其他关键词：软性分割（soft segmentation）；语义分割（semantic segmentation）自然图像提取（natural image matting）；图像编辑（image editing）；谱分割（spectral segmentation）。

## 摘要部分结束。

## Introduction 部分

介绍部分还是要读一下，作为文献和领域的梳理工作，作者在introduction部分花费的力气不亚于method 部分。当然introduction部分也将暗示着本文的核心地位和主要结论以及可能的关联领域。