文丨jiang jie
【项目应用场景】
娱乐业
【望潮科技测评】
在一部动作电影中,替身是一个很重要的角色。他们既保证了动作的高质量和完成度,也降低了明星们受伤的风险。但是,替身也是人,面对高难度镜头时,潜在的危险同样会威胁他们的人身安全,片场发生事故也是有实例的。
美国加州大学伯克利分校人工智能实验室(BAIR),利用人工智能技术,开发出了一款名为DeepMimic的模型。它通过动作片段训练这个模型,从而实现高难度动作,有可能取代人类特技演员或是替身。
什么刀枪棍棒,它都耍得有模有样
这个DeepMimic模型结合了计算机视觉和强化学习技术,从视频动作中提取动作捕捉数据,并开始训练AI智能。这样的方式不需要传统的动作捕捉技术,我们熟知的《指环王》或是2K18的游戏,都是采用真人演示的动作捕捉技术。
该模型通过分析训练视频中的每一帧,然后通过强化学习在AI智能上进行动作重塑,也就是将每一帧分析出的动作重塑形成连贯动作。模型会处理重塑后动作的锐度缺失,换句话说,就是让动作变得更逼真。
随后,AI智能的动作会被不断地修正,直到与参考动作的差异变得足够小。例如侧空翻、单手翻、后空翻等高难度动作,在模型拿到动作源视频后均可实现。由此可见,这个模型的输入部分就由三部分组成:一个被称为Character的Agent模型;希望Agent学习的参考动作(reference motion);希望Agent完成的任务(task)所定义的reward function。
有了这样的基础,这个模型训练出的AI智能学会中国的武术动作也不在话下,舞刀弄枪将不再是人类的专属。
模型要取代真人?
研究人员Pang在接受媒体采访时表示:“随着这些技术的进步,我认为他们将开始在电影中发挥越来越大的作用,然而,由于电影通常不存在互动,这些模拟技术可能对游戏和VR产生更直接的影响。”
DeepMimic的代码、数据和训练策略已经全部开源,这种灵活的动作训练模型将会为越来越多的画面和娱乐产品服务。可是,它真的会在动作电影当中取代特技表演人员或是替身了吗?
事实上,根据介绍,模型训练的前提是来自用户的动作输入。也就是说无论动作由人还是模型完成,动作的设计始终需要人们敲定。而模型的优势就在于,随着训练次数的上升,它与目标动作的相似度会越来越相近,并且无需人类的监督。除此之外,模型也杜绝了片场中发生意外的可能性。
它能“取代”的不仅仅是人类,只要有相应的动作源视频,模型就可以根据动作制定训练策略,不管现实生活中是否存在的动物,模型也能将其呈现在屏幕上,例如霸王龙等。研究人员Pang表示,已经与一些游戏开发商和动画工作室讨论过这项工作的可能应用,但暂未透露细节。
— END —
MORE丨黑科技推荐
领取专属 10元无门槛券
私享最新 技术干货