机器人也会画漫画

说到人工智能，大家第一想到的应该会是人脸识别，因为这也是最近出现最频繁的名词，手机、交通、安防等领域都涉及到了人脸识别技术，但是大家应该把眼光放远一些，就会看到更加高科技的人工智能在我们不知道的领域已经普及开来，例如无人驾驶技术，无人超市，无人加油站，无人快递站等。

但是今天给大家带来的不是这些技术，因为还有一些“黑科技”在其他领域默默的转换着，等完全崭露头角的时候，我们会感叹未来是不是这样的：

那今天我们就来看看一种先进网络用于漫画领域，并且可以完全可替代画家给漫画上色的工作，想想都觉得是一个不错的人工智能技术，但又让我们多么后怕，未来有多少岗位将要被机器人所替代。。。

机器给漫画上色

说起漫画，大家都会想到日本，但是谁又能知道，出版漫画过程是多么费时费力的，尤其是构造漫画人物和给漫画任务上色，但是现在技术日益增长的人工智能时代，已经有很多工作再被机器所替代。比如今天我们详细讲解的“漫画上色网络”，其实说专业一些，就是生成对抗网络的改进网络，通过大量数据的训练，学习了怎么去给相应漫画上色，现在就开始我们今天的主题。

今天要提及的这个网络是基于条件生成对抗网络（CGAN），但是不同于以往的GAN方法，使用CGAN不需要数以百计或数以千计的训练图像，只需要一个单一的彩色参考图像进行训练就可以达到想要的水平，且避免了大量数据的需求。

使用CGAN对漫画进行上色可能会产生具有伪影的模糊结果，分辨率有限。 因此，用了一种分割和颜色校正的方法来减轻这些问题，使最终的结果是清晰的，高分辨率，并保持真实的角色原来的配色方案。

首先来一个简单的例子，让大家理解主要的一些效果和技术的实现：

训练数据（只用一张图像作为训练集）

机器自己上色后的效果图

1

图像颜色转移方法

有许多现有的颜色转换方法，即使用一个图像的颜色来着色另一个颜色。 他们共同点是利用图像中预先存在的信息进行着色，例如色彩转换的颜色信息或灰度图像中的亮度被着色。 然而漫画是纯粹的形式，只有黑色和白色的二元图像，这些方法所依赖的信息是不可用的。

2

风格转移方法

与颜色转换类似，风格转换尝试将参考图像的风格转换为新图像。 关于单色漫画和彩色漫画两种不同的风格，这种方法可以允许将单色漫画图像转换为彩色漫画。

3

条件生成对抗网络

最近由Goodfellow等人引入的生成对抗网络（GAN） 在生成色彩鲜艳的图像方面取得了令人鼓舞的成果。 最近一个值得注意的例子是由Isola等人提出的条件生成对抗网络（cGAN），它通过对目标图像进行调节来生成新的图像。 这种方法成功的学习了边缘线和图像之间的映射，例如鞋和手袋。 边缘线与单色漫画图像相似，表明使用这种方法可以实现类似的结果。 到目前为止，大量的训练数据已经被用来训练这种类型的网络并进行推广。 在原始文件中，提到最小的训练集包括400幅图像。 接下来展示一张彩色的参考图像足以训练这样一个网络来为特定的人物着色。

4

主要框架

黑白图像比对效果：

在图像分割之前，利用了不同核参数大小的高斯模糊，给出了改进的结果，而在内核半径为3的情况下，轮廓开始消失，从而降低了结果的质量。可以看到，有一个最佳值，从实验表明，它取决于输入图像。因此将此设置提供给用户进行调整。

然后就可以开始训练网络，进行图像的上色操作：

不同的训练图像，对测试的效果也不一致，但是最终融合效果逼近于真实值，具体见如下：

测试图像：

1）脸部训练图像：

测试效果：

2）胸部训练图像：

测试效果：

3）一半身体训练图像：

测试效果：

4）全身体训练图像：

测试效果：

5）全部训练图像：

测试效果：

具体简单介绍下步骤：

目标图像—>CGAN上色—>模糊剔除—>分割—>颜色选择—>饱和度增加—>颜色量化—>加阴影

结果：

训练图像：

测试图像：