Twitter训练神经网络裁剪照片，照片有喵星人也不用怕了

雷锋网1月26日消息  据外媒The Verge报道， Twitter 昨日发布博客称，其正在使用神经网络来自动裁剪图片、生成预览缩略图，从而让用户可以预览到他们最感兴趣的部分。

图/The Verge

据了解，该公司一直在研究这个工具，机器学习研究员 Lucas Theis 和机器学习主管王泽汉（音译，Zehan Wang）还在博客里详细描述了这个方法。雷锋网了解到，王泽汉此前曾是伦敦机器学习和视觉处理技术开发商 Magic Pony Technology （MPT）的联合创始人。2016年6月，Twitter 花费巨资将 MPT 收入麾下，随后王泽汉也加入 Twitter 任职机器学习主管。

经 Theis 和 Wang 介绍，一开始他们仅用面部识别技术来裁剪面部图像，但是后来他们发现这项技术并不适用于风景图像，尤其是图片中有猫的时候，因为 Twitter 总是会显示图像中心，这时出现在预览图里的可能就是一只喵星人的脖子。

就此，他们提出的解决方案是“使用显著性裁剪”（这里的“显著性”即代表图片中最有趣的区域——不管是面部还是其他事物）。经研究表明，在一张图片里，人们往往最关注面部、文字、动物和色彩对比度最高的区域。为了定义好这一点，他们将学术研究中的数据运用到眼球追踪里，从而以纪录人们首先看到的图像区域。 Theis 和 Wang 在博客中写道：

“这些数据可以用来训练神经网络和其他算法，从而以预测人们可能会想看到的部分或内容。”

图/The Verge

在这一技术下，他们研究的这一神经网络可以在很短的时间内找到照片中最有趣的部分，用户在上传照片时也就不会发现延迟。当然，这一过程少不了对神经网络的优化。

另外，软件工程师还使用了一种名为“知识精炼（knowledge distillation）”的技术来训练算法，从而可快速估算照片中最显著的部分。虽然其可能需要很长时间才能做出微调的像素级预测，但 Twitter 的神经网络可以提供快速而又更加相似的版本，从而让用户可以准时预览照片。

对他们来说，最幸运的是——照片预览所需的剪裁非常宽泛，只需将图像缩小到最有趣区域的三分之一，最终的结果是可得到速度比原先快 10 倍的神经网络。

该功能目前正面向所有的 Twitter 用户（包括PC、iOS和Android用户）推出，其目的在于取代之前笨拙的预览缩略图。所以，下次如果你在Twitter上看到一个照片预览并邀请你点击时，记得感谢一下神经网络的魔力。

注：题图来源于ixdc；Via The Verge，雷锋网编译