哈喽,我是猫妹,咱们今天来看看Python图片风格迁移。
啥是风格迁移呢?
简单来说,图片风格迁移,就是指利用程序算法学习著名画作的风格,然后再把这种风格应用到另外一张图片上的技术。
举个例子,把猫妹在苏州古镇的一座小桥上拍下的一张照片,与爱德华·蒙克的《呐喊》相融合,效果就像爱德华蒙克在我们的景色中运用了他高超的绘画技巧一样!
看了这个例子,你是不是有些心动了呢?
那就跟着猫妹一起来学一学吧!
基本原理
基本原理是这样的:
我们知道,卷积神经网络(CNN)具有很强的图像特征(feature/representation)提取能力,如上图所示。
对于内容图片,深层网络(d和e)提取的是高维特征,同时也丢弃了细节信息;浅层网络(a, b和c)提取的是低维特征,图片的细节大多都保留下来了。
对于风格图片,通过包含多层的特征相关性(Gram矩阵),可获得多尺度图像风格的重构,捕获其纹理信息。这样构建的网络可以忽略图像的具体细节,保留风格。
为了将内容图片和风格图片融合在一起(见下图),我们应该使风格化结果图(初始为一张白噪声图片)的特征同时与内容图片和风格图片的特征之间的距离最小化,最终获取我们所需的风格化结果图。
因此生成目标图片的损失函数可定义为:
其中α和β分别是内容图片和风格图片的特征所占的权重,通过最小化这个损失函数就可以获得我们想要的结果。
来看个动态示意图:
虽然上述方法可产生非常漂亮的风格迁移效果,但是速度很慢。
牛刀小试
猫妹下载了模型数据,参考了一些大牛的代码。
做了一些图片,一起欣赏下吧!
这是原图:
candy.t7风格迁移效果:
la_muse.t7风格迁移效果:
mosaic.t7风格迁移效果:
starry_night.t7 风格迁移效果:
the_scream.t7风格迁移效果:
udnie.t7风格迁移效果:
猫妹的测试代码如下:
这个程序需要安装cv2库,需要用pip安装。
另外这里的模型文件(*.t7)也需要事先下载并保存起来,模型数据比较大,猫妹把它们整理好放到了学习群中了。
当然,还有很多种Python风格迁移,如素描、漫画、动漫、黑白画等,下次,猫妹就和大家一起学习吧!
人生苦短,我用Python!
咱们下次见!
领取专属 10元无门槛券
私享最新 技术干货