该方法的损失函数包含全局与局部判别损失以及重建损失, 不仅在补全区域的细节方面生成的比较好, 而且还可以通过巧妙地设计损失处理不规则的遮挡区域. 一些效果如下图:
?...在使用深度学习方法进行图片补全的时候, 一般将缺失的区域使用白色或者是随机噪声来填充, 再使用卷积层来提取上下文特征以及后续的补全....白色/随机噪声本来没有有效信息, 对它们与有效的信息不加区别的卷积并不合理, 这样的补全结果会出现一些副作用, 如下图所示:
?...式中的W是卷积核, X是一个卷积核上对应的图片内容, M是一个卷积核上的含遮挡信息的Mask矩阵, 元素只含0,1; 右边的m’就是每层更新Mask矩阵的方法. 该方法的一些补全效果如图:
?...上述的Partial Convolution方法虽然不全效果好, 但是随着网络层数的增加, 器Mask矩阵中的遮挡的部分会越来越萎缩, 到最后每一层的Mask矩阵就认为没有遮挡了, Free-Form