Headshot是一个新的AI驱动的角色创建插件,可以从一张照片生成3D实时的CG人体模型。
专业版可以创建分辨率更高的纹理和模型
这个插件是由美国公司Reallusion研发的,公司副总裁John Martin在今年的Siggraph Asia 上 展示了Headshot背后的技术,Martin在大会中应一位导演要求展示了将一位演员进行场景3D实时动画制作的流程-仅基于该演员的一张Jpeg头像照片,而所有这些过程从开始到最终的现场动画仅用9分钟即可完成。
Real-time Live(RTL)演示使用了Headshot技术。这个新工具通过易于使用的用户界面,使用智能纹理混合和头部网格创建来生成一个真实度非常强的头发和面部表情,并可以对其进行高度微调控制。作为过程的一部分,该系统同时提供预览和高级建模工具,允许艺术家对面部进行综合调整。
输出的是完全绑定的模型,可以用于语音口型同步,面部表情和全身动画。Headshot支持两种AI模式:Pro模式和Auto模式。
Pro模式包括Headshot的1000多种雕刻变形,图像映射和纹理工具。Pro模式是专为生产级高分辨率纹理处理(4096×4096)和艺术家面部细化而设计的。“Auto模式”使用一个低分辨率的虚拟头与3D头发,完全自动化的生成CG模型。
Pro模式
系统会基于分析的jpeg相机镜头自动将3D模型锁定到图像层。这使艺术家可以轻松地将场景相机对准照片的方向。该系统允许使用屏幕上的造型变形或镜头变形滑块来调整CG头模型的网格。
即使从基于单个Jpeg图片的创建开始,Headshot也可以从第一次模拟中获得非常相似的效果。然后,艺术家可以使用雕刻变形工具来塑造和完善优化脸部模型。
Reallusion首席执行官陈朝阳(Charles Chen)解释称,这种微调过程依赖于“500至600个面部形态的的设计,因此你可以微调每一个细节”。可编辑的形状和重新投影的组合产生几乎多相机扫描级别的输出。该过程与图像匹配层一起使用,该图像匹配层可以覆盖为参考平面,以进行高级头部形状细化。用户可以改变层的不透明度,以验证照片的网格对齐。原理很简单,覆盖图允许艺术家检查AI结果并使用智能UI调整新模型。“你可以把鼠标移过去,然后立刻看到会受到什么影响,这是一种快速的雕刻模式,可以让你看到脸部的哪一部分正在受到控制和调整,这是非常直观的,”陈指出。
Headshot可以通过iClone进行动画,也可以导出到Epic游戏的UE4的引擎中。还有一组预置,以混合的图像投影与基本纹理,其中使用不同的皮肤类型和蒙版区域。陈解释说:“你可以选择不同的皮肤类型,这取决于你是选择一位皮肤比较粗糙的老人,还是一位皮肤非常柔软的年轻女性,这给了你难以置信的自由。”
为真实的CG人体渲染提供了额外的层输出,包括法线、AO、粗糙度、金属、SSS和微法线。
还可以调整由于纹理生成以及镜头校正而导致的任何纹理到网格对齐差异。该系统应用UV重投影以将纹理烘焙到新的经过光对齐的头部网格上。
Reallusion还发布了一个新的Digital Human材质编辑器,在上面的一些示例快照中已实现了该材质编辑器,这基于虚幻UE4 Mike Seymour材质编辑器(UE 4.22),它提供了改进的次表面散射和微法线纹理通道。
Auto模式
“Auto”模式可以自动生成实时3D头部模型,但它也可以分隔头发的网格。Reallusion智能过程会自动从图像中去除头发,并提供自然的侧面纹理。它可以允许阴影的存在,因为“Auto模式”适用于为电影或NPC角色创建中分辨率的人群。Chen解释说:“Auto模式有一个缺点,因为我们的原始训练数据没有高分辨率,因此分辨率不如Pro模式高。”
Auto 模式可创建1K纹理(Pro模式下为4K)
由Headshot生成的3D头发与iClone的Character Creator的头发格式(.ccHair)完全兼容。这些可以添加到头发库中使用。
“Auto模式“是一种快速解决方案,您可以将其用于NPC或中远景的任何背景角色。对于近景,还是使用专业模式比较好。”
怎么样 ,小伙伴们,这样的插件是不是太强大了 心疼建模组一秒钟!
--------------------------------------------
领取专属 10元无门槛券
私享最新 技术干货