微软自拍应用一键美颜背后的人工智能技术（附论文下载）

日前，微软宣布推出一款图片美化应用——微软自拍（Microsoft Selfie），它能够针对照片中出现的所有人脸的年龄和性别进行差异化一键自动美颜和降噪、补光，微软亚洲研究院视觉计算组主管研究员袁路向CSDN记者介绍了微软自拍实现这些功能背后的人脸技术及计算摄影学技术。

微软自拍技术流程解析

微软自拍能够一键美化图片，在很短的时间内实现拍照+美化的全过程，其技术流程如下图：

当你打开微软自拍准备开始拍照时，该应用会主动感应周边的环境，如果光线过暗以至于拍照可能产生噪点，例如晚上的户外派对，酒吧等环境，它就会自动开启降噪模式，以确保最后生成的图片干净无噪点。

无论是通过微软自拍拍摄到的照片，还是从相册导入图片，它会在接下来不到1秒的时间内，对输入照片进行快速处理，主要包括自然美颜，智能降噪和曝光增强三个部分，对于无论是自拍照片，还是非人像照片（如风景、物体等），都能实现理想的照片美化效果。

自然美颜

不同性别和不同年龄段的用户对自拍修图的要求差别很大。微软自拍的智能美颜功能在美化人像照片时，会自动识别图片中人像的年龄、性别、肤色和光照等因素，并基于此相应地消除用户不需要的皱纹、眼袋、雀斑、痘印等。但对于用户希望保留的体貌特征，如头发、纹身、浓密的胡子等，或者面部出现的装饰物，如耳钉、鼻环、眼镜等，该应用则会尽量保持不变，最终使整个人脸美化效果更为自然。

如此简单通用的美颜操作，其背后包括如下一系列的技术：

1. 系统要对照片进行JDA人脸检测（Face detection）（Joint Cascade Face Detection and Alignment. ECCV 2014），检测出这张图片是否存在人脸，一共有多少张人脸，以及人脸出现在图片的什么地方。
2. 系统利用特征点检测技术分析每一张人脸的不同五官需要什么程度的美化。微软自拍采用的是微软亚洲研究院在2014年CVPR大会上发表的论文Face Alignment at 3000 FPS via Regressing Local Binary Features中提出的68个人脸特征点检测方法。借用该方法，系统能够快速准确地检测出脸型和特征点。
3. 基于高层的智能方式，算法会对图片中的人脸进行信息提取，包括年龄和性别的判别（Blessing of Dimisionality: High Dimensional Feature and Its Efficient Compression for Face Verification CVPR 2013）。这个技术也应用在了How-old.net（微软颜龄机器人）上。
4. 该应用采用的“数字化洁面”算法会基于已经提取的面部信息对人脸进行美化处理。不同于市面上常常导致图片失真的美化算法，“数字化洁面”算法包括两个部分：
   1. 基于大数据的脸部美化分析，研究员根据大数据的分析对不同的性别和年龄建立了不同的美化模型集，从而更有针对性地对不同人群的图像进行美化。
   2. 应用新的图像处理算法，不同于传统通过低通或者双边滤波的方式，从而避免图片的美化出现失真，如阶梯形效应（Staircase effect）带来的卡通化，又能获得自适应的美化效果，即去除不想看到的皱纹、痘印等信号，但是保留纹身、首饰等重要信息，避免“千人一面”的问题。

智能降噪

微软自拍在开启摄像头时就会针对周围环境进行判断。如果所处的拍摄环境光线条件不甚理想，直接拍摄到的照片通常会带有很多噪点，清晰度也会受到影响。在此时微软自拍会自动开启降噪功能，通过快速拍摄多张照片，并对其进行处理，最终生成一张平滑降噪的照片。正如大家所知道的，照片成像的噪声水平受手机或照相机本身等硬件条件影响极大，但购买高级设备则花费巨大，而微软自拍采用数字化降噪功能所生成的图片效果完全可与单反相机 (DSLR)在三脚架上采用低ISO长曝光时间的拍摄效果媲美，从而为智能手机用户在夜间拍摄到高质量的照片提供了更好的选择，真正做到“硬件不足软件补”。

与微软已发布的延时摄影应用Hyperlapse相似，微软自拍在智能降噪功能的关键技术包括快速帧间对齐和多帧降噪技术。单张照片上的噪点是围绕平均值进行上下波动的，而如果把两张有噪点的图片进行叠加的话，就可以得出一张更为干净的图片。图片数量增多，照片中的噪点也会逐步下降。基于这样的原理，研究员提出了一个快速多帧降噪的方法，相关论文已在去年的SIGGRAPH Asia大会上发表（Fast Burst Images Denoising SIGGRAPH Asia 2014）。

但针对拍照过程中的手抖现象，如果只是简单地把连拍的多张照片进行平均叠加的话，则会产生重影的效果。因此，研究员对帧和帧之间采用了相机模型估计的方法，不通过传感器而是完全通过数字化的帧间对齐方法进行处理。其次，当帧和帧对齐之后，因为场景中深度有所不同，一个微小的运动都会导致同一个像素点在不同帧对应的物体不一样，所以如果只是简单地做图片平均的话，还是有可能导致图片重影。所以，研究员采用的算法会甄别选取一致的像素点拿来做平均，这个平均不仅是发生在时间域上也会发生在空间域上，从而让该降噪算法对于无论是人脸照片还是非人脸照片都有着非常理想的效果。

曝光增强

相信大家都碰到过想要拍摄的场景受限于角度、光线等问题从而导致逆光拍摄的情况，而微软自拍的自动曝光功能则能对照片进行针对性的区域曝光调整。例如一张逆光的照片，人脸和所有逆光的景物，相对比背景都显得十分暗淡。或者是面对阳光的照片，受光面十分耀眼，并且人脸难以获得自然的表情。这种情形下，对拍摄到的一张照片进行后期处理的话，传统修图应用通常会全局地调整画幅中的光线情况，即会出现前景拉亮的同时，整个背景光线过亮，甚至出现过曝的情况。

面对这种情况，微软自拍会自动对画幅中各区域进行曝光分析和调整。首先系统会自动检测背光情况，并对各区域提供最佳的局部曝光补偿，避免整体图片调整而导致图片过度曝光，并保证照片在能够看清逆光景物的同时保持照片的层次感（Automatic Exposure Correction of Consumer Photographs ECCV 2012）。

而针对风景照常见的薄雾情况，研究员还开发了去雾算法（Single Image Haze Removal using Dark Channel Prior CVPR 2009）。该算法能与曝光校正算法融合增强照片的清晰度，从而达到使用紫外线滤镜(UV)或圆偏振镜 (CPL)的专业级照片效果。当然PM2.5爆表的时候还是老老实实待在室内或者带好口罩吧，就别拍照了……

技术积累及未来走向

从雏形到应用，微软亚洲研究院视觉计算组为微软自拍全程提供了技术支持。视觉计算组的研究方向和专业涵盖了计算机视觉研究领域的整个范畴，主要包括人脸，图像编辑和计算摄影，图像识别和检测等方面。

针对人脸的研究包括人脸（特征点）检测，人脸识别，人脸的属性识别等等。该项研究成果已经在微软牛津计划的人脸识别API（Face API），Windows Hello刷脸开机，Kinect Identification身份验证开机和微软小冰等诸多与人脸有关的产品与服务中得到应用。

而在图像编辑和计算摄影方向，视觉计算组的研究主要为图像自动编辑和相机增强技术等等。今年12月，刚刚开放的微软牛津计划视频API（Video API）中也有该研究方向的身影。此外，OfficeLens，Hyperlapse等用户达千万级的应用中也都可以看到视觉计算组在图像编辑上的研究成果。

在图像识别和检测方面，该研究组在图像内容的理解、识别、检测和分割等方面都取得了突破性的进展。不久前，在全球顶尖高校和科研机构举办的2015 ImageNet计算机视觉识别挑战赛中，该组的研究员们凭借深层神经网络技术的最新突破，获得了图像分类、图像定位以及图像检测全部三个主要项目的冠军，击败了来自学界、企业和研究机构的众多参赛者，打造出了目前世界上最精确的计算机视觉系统。

袁路表示，从2015年7月开始，微软自拍项目历时5个月就从想法变成了面向市场的一款智能型应用，其中离不开的是微软亚洲研究院视觉计算组在计算机视觉领域长达十余年的研究积累以及微软亚太研发集团创新孵化组的敏捷开发。

在谈及微软自拍之后的技术走向时，袁路提到了三个发展方向：

1. 实现更智能的图像处理和相机增强，例如增加对场景的智能分类来让手机自动选择更适合的处理及拍摄方式。
2. 增加人脸编辑的更多特效，让用户可以更为个性化地订制出不同的造型，增加更多可供选择的面部增强效果，如选择瘦脸与否等。
3. 将图片质量智能增强的技术应用到视频的实时处理中。最终把这些复杂的技术应用到人们的生活中，让每个人都能够真正感受到智能的、个性化的计算体验。

目前，微软自拍应用已登录iOS应用商店（下载链接：https://appsto.re/cn/UTAD_.i），供大家免费下载。除此之外，微软亚太研发集团创新孵化组的微信公众号“微软咖啡”（微信号：MicrosoftCafe）和及微软自拍的网页体验版http://selfie.microsoftcafe.net/都可以实现该应用的部分功能。

论文下载链接请查看原文。（责编/周建丁 zhoujd@csdn.net）