《最in数字人》第三期丨把情绪写在脸上，如何让数字人的表情“活”起来？

天娱数科“AI虚拟数字人”专项研究拿到了政府数百万资金支持！

为抢抓互联网3.0发展机遇，推动朝阳区互联网3.0产业创新发展，今年5月朝阳区政府发布了《朝阳区关于支持互联网3.0创新发展的若干措施（试行）》，为围绕互联网3.0关键核心技术领域攻关的重点高校、领先研究机构、领军企业给予连续三年、每年最高不超过1000万元的科研经费和运营经费支持。

经过半年的考察调研和层层筛选后，天娱数科子公司元境科技攻关关键核心技术课题：【基于自然语言情绪理解的3D数字人实时表情驱动及交互技术】脱颖而出，获朝阳区政府数百万专项资金及资源支持！

【基于自然语言情绪理解的3D数字人实时表情驱动及交互技术】从形、神、动、智四方面，把全拟真人类个体做到了和真人一样。

今天，小编就从“形”和“神”两方面，为大家揭秘让数字人表情“活”起来的重点技术突破。

“数字人老黄”的面部表情、皮肤、光照等细节堪称完美，就连他标志性的皮夹克都真假难辨。就是这个数字人，在2021年的GTC大会上悄悄替老黄做了14秒演讲，却无人察觉。

为了全方位获取黄仁勋的面部特征，让“数字人老黄”做到以假乱真的地步，英伟达拍摄了几千张黄仁勋各个角度的照片，用了大量动态表情贴图，动用了大量软硬件设备和资金，最终呈现出了惊艳世界的14秒。

数字人发展到今天，虽然在技术上我们已经取得了突破式进展，但3D超写实虚拟人的制作成本和效率仍然是全行业亟待解决的问题。

制作一个3D超写实虚拟人形象涉及原画、建模、贴图、绑定、蒙皮和动画、引擎测试、视频合成与输出等多个步骤。其中贴图是3D虚拟人形象制作的重要环节之一，能够呈现纹理和材质细节，让数字人更加逼真，对数字人的情感、性格塑造等方面也有着关键作用。

如果把原画和建模理解为盖一所房子从设计图纸到毛坯房的阶段。那么最终想要把房子设计成什么风格，则需要不同的贴图来丰富细节。

每层贴图所体现的不同细节，包括肤色、纹理、毛孔、衣服的材质、反光度等就是实现“超写实”的关键。贴图的数量越多，越可以模拟出复杂的表面细节和光照效果，数字人的细节逼真度也就越高。

这个过程通常需要高速相机采集大量不同明暗、不同角度的图片，将存储在图片上的深度信息全部集合到数字人建模上，才能得到一个外形极度接近真人的静态模型。有时候，仅这一步就需要几百G的原始素材。

目前，国内数字人通常采用漫反射、法线、高光、光色度四层贴图，虽然可以满足基本需求达到高拟真水平，但想要实现真假难辨的效果，需要我们用大量的底层数据素材才能实现，这种方式成本高、周期长，很难满足大量的市场需求，也很难低成本的让数字人应用普及。

为了降低数字人制作门槛，天娱数科技术团队研发了一套2D拟合3D的弯道超车技术，攻克了用一张图片生成3D虚拟人的技术难题。

2D拟合3D，就是先创建一个三维模型，再通过一张照片结合神经渲染网络生成一个能够与三维模型匹配的AI数学模型，将AI数学模型与三维模型进行拟合，形成一个可驱动的三维模型，最终得到一个具有真人外貌的3D面孔。

这种方式不仅不需要海量的底层数据素材，还省去了原型采集、光场摄影、素材数据处理等环节的繁琐步骤，让数字人制作变成了一件低成本、高效率的事。

静态形象已经足够逼真了，接下来就是要让数字人脸上的表情和情绪匹配，在互动时做到“神形兼备”。

上期内容中，我们介绍了真人和数字人对话时信息传递和转化的流程。让数字人有情绪的表达，面带表情的和我们对话，需要做的就是在给数字人传递语言信号的时候加上一个表情数据标签。

举个例子

比如你要说：“我没钱了，已经三天没吃饭了”，在把数据传输给数字人的时候，就需要在这句话后面打上情绪分类和情绪强度的标签，变成“我没钱了，已经三天没吃饭了（悲伤，10级）”，就代表这句话的情绪是悲伤的，悲伤程度达到了10级。这其实是一个训练情绪分析模型的过程，和训练AI区分猫狗的过程类似，选择1000张猫和狗的训练图片，其中500张是测试集，500张是验证集，通过打标签的方式让AI学习。

我们把大量未经整理的无结构数据，和有关联的问答式有结构数据喂给情绪分析模型，再通过AgentAI技术将内容拆分为问答形式自主训练不断验证后，得到的就是一个可以分辨语言情绪的模型。

对每句话的情绪做出判断后，就需要把相应的内容传递给数字人，让数字人表达出来。在这个环节，天娱数科自研的MetaSurfing元享智能云平台就可接收这些带有情绪的标签内容，并调用Audio2Face实例将要呈现的表情反馈给数字人。

让数字人脸上的表情“活”起来的整个过程，都是在几秒钟内完成的。最后，我们在和数字人互动时，看到的就是一个神态自然，表情丰富的全拟真人类个体。