你今天怎么这么好看——基于深度学习的大型现场实时美颜

Photo from BoredPanda

美颜是当下直播甚至是所有形式对外展示的一个必备条件。手机端的美颜就像私人化妆师，能够帮助我们实现各种心仪的效果。

而大型娱乐节目一般都是提前进行录制，然后进行后期制作，在视频质量和美颜方向也会在后期也会进行诸多的处理。但对于实时直播的节目和晚会，没有后期制作的存在。这种大型娱乐现场（和手机端前的直播相比）的场景非常复杂，灯光、背景、机位、多人等都对传统的基于人脸检测和跟踪的美颜提出了巨大挑战。

上图是美颜后

陌陌的“陌陌巡乐会”、“陌陌运动会”、“陌陌年终盛典”等直播活动就是融线上直播和线下明星于一体的大型现场娱乐直播。

一个典型的美颜流程是这样的：模型检测跟踪人脸、获取人脸的信息、根据信息对人脸进行精准美颜。而在大型娱乐现场，多人随意运动、机位拉近拉远，很容易导致上述流程失灵，并造成一些明显的负面效果。

与此同时，类似这样的大型现场没有美颜效果，也是艺人和主办方难以承受的。举个例子，演出者在舞台上表演时，很容易就会满头大汗或者出现脱妆等情况，一些主播因为失去美颜的加持，和手机端直播产生了一些观感差异，不仅不利于主播个人形象的维持，也导致用户的观感大打折扣。

因此，大型现场直播没有美颜的问题是非常突出的。只是因为相比手机端的直播来说，其频次较低、不是主流的展现形式，所以在较长一段时间内，相关技术的进展也比较小。

针对上述问题，我们结合转码和美颜，推出了基于深度学习的大型现场实时美颜。

基于服务端的转码系统

大型现场是一个典型的只有一个“主播”的系统，所有的观众观看的都是同一个视频源。

我们在服务端对直播流进行一个实时的美颜和转码，利用很少的资源和成本解决了无美颜的问题。同时，相对客户端来说，服务端视频处理的资源是非常充裕的，可以允许一些较复杂和较大的算法运行。

比如我们在服务端搭建了一套完整的基于GPU的转码处理系统。对于秀场直播能够实现码率降低40%，画质MOS分仍比原画要好。还有目前的AI换脸，例如“ZAO”，基本也都是运行在服务端上面。

我们所说的美颜

宽泛来讲，美颜涵盖了相当大的范围。包括我们经常用到的拍照时的美白、祛痘、大眼、瘦脸等以及各种滤镜（一般所述美颜），以及最近很火的各种换妆、换脸。后者是新兴区域，大家有时也以AI智能美颜来泛指。

美颜核心都是以人为本。在手机端常见的美颜流程，需要检测人脸、跟踪人脸、获取人脸关键点以及进行各种变形处理。人脸的检测和跟踪，基本以深度学习为主，变形处理还是以传统算法为主。换妆和换脸也是运行在人脸检测和跟踪的基础上，以深度学习实现换妆和换脸。

我们所述的大型现场美颜，和一般所述美颜效果相对应，主要是场景的不一致、以及场景的复杂性导致原来的美颜流程和算法不能够适配。

关于大型现场美颜

关注度越高的直播对于负面效果的要求越高，也就是说，对于大型现场，美颜系统不能带来负面效果。

基于人脸检测和跟踪的美颜，其优点集中在能够非常精准，从五官到眼皮、嘴唇等细节的调整和美化。

在舞台中各种位姿都可能的情况下，要做到和手机面前的主播一样的跟踪，是十分困难的。另一方面，在直播现场，对于观感具有主要作用的，我们认为是在一些基础的美化，例如祛痘、磨皮、去汗、美白等。

我们尝试了基于传统算法的美颜，这也是目前业界解决这个问题比较通用的方法。但对于传统算法来说，有一个比较严重的问题，如果我们无法跟踪人脸，那么只能针对整图来进行美化。

美化的度非常难以把握。拿美白举例，对于近景，人脸比较大，轻微的美白不足以给观众一个阶越的观感改变，调大度之后对于整体的色调都会有一定的影响，负面效果逐渐展现。所以一般的做法是，多轮调优，选择一个负面效果可接受的美颜算法。

传统算法美颜效果，左图为美颜后

整体来说，调整后的传统算法，有一定程度的美化作用，但是因为度很轻，上线后我们进行了一轮评测，表明负面效果是没有的，但是有一定比例看不出美颜效果。

美颜效果的评测

视频质量评测一直是一个在持续研究的方向。美颜效果和视频质量不能直接画等号。应该说视频质量宽泛一点可以包括美颜效果，反之则不行。基于主观评测的方法仍然是视频质量评测的基准。我们针对视频质量也开发了一套打分系统来配合主观评测。目前，复杂现场的美颜效果，仍然是以主观评测为主。

基于深度学习的美颜系统

传统算法基础上，我们加入了深度学习模型来学习上述美颜效果。经过反复的迭代和实验验证，我们的深度学习算法大幅超过美颜算法表现。具体体现在深度学习模型能够明显区分美化区域和背景区域，美化区域效果对比显著，背景区域基本无改变。在经过几轮灰度测试和主观评测后，我们的系统目前全部覆盖了陌陌的大型现场活动。

上图是美颜后

复杂现场的美颜是一个较小的应用领域，随着发展，我们相信实时的云演出也会越来越多。美好的效果会进一步提升用户感受，实时和观众进行互动，节省了后期的滞后流程和费用。出于演出效果和经济效应的考虑，给观众从美观上一个提升是非常有必要的。

更广阔的讲，追求美是人的天性，我们相信上述的各种美颜形式都会跟随通信、介质、媒体形式等的发展而快速发展。

编辑：Coco Liang