来源:YouTube 主讲:Piotr Uzarowicz - Arcturus 内容整理:周凯 体积视频仍处于发展的早期阶段,过去两年中,娱乐公司,体育赛事团队等意识到数字人可以代替面对面的活动,并且可以利用数字人实现人工智能驱动的世界。本文介绍了如何使用体积视频创建数字人,体积视频的后处理方法和传输方式等。
目录
如图所示是微软混合现实(由 metastage 运营)创建数字人的方法,使用 53 个 RGB 相机和 IR 相机动态捕捉人物动作,然后拼接成点云,进一步生成包含纹理的 mesh,最终变成可传输的 mp4。
下图是微软在洛杉矶的混合现实拍摄工作室,工作室直径 30 英尺,高度 20 英尺,实际上理想的拍摄体素大小为直径 8 英尺。工作室中有 16 个补光板,确保光照均匀。拍摄之后使用前面提到的微软重建软件进行处理,最终输出可用的 mp4 文件。重建后的数字人可以被导入到 3D 引擎中,如 Unity 和 Unreal。
Metastage 已经活跃了一段时间,并且在最近发布了一款 Metastage 应用,将真实的人类表演带入数字世界,带来真实的沉浸式体验,尤其是通过数字人与观众建立情感和身体上的联系。下面是 Metastage 的演示视频:
http://mpvideo.qpic.cn/0bc3aaaaeaaaciacze2j65rfaagdaiaaaaqa.f10002.mp4?dis_k=e9b249b4bdf80c3e1bc8f1a4ad2c3e5e&dis_t=1649676617&vid=wxv_2338254339376775169&format_id=10002&support_redirect=0&mmversion=false
在更轻量化和更具娱乐性应用方面,韩国 BTS 帮助发布了一款新的三星手机,手机中内置了他们的数字人版本。在数字人的驱动方面,基于机器学习的语音驱动或者动作驱动等方法也可以用于数字人,从而为交互带来更大的便利。
大多数人对传统的视频后处理流程比较熟悉,例如 Adobe 的视频编辑软件等。数字人的处理过程保留了一些相似性,但是加入了非常重要的 3D 属性编辑功能。HoloEdit 是一款专为立体视频设计的编辑软件,支持 3D 模型的交互式编辑,如修补 mesh,清理纹理和压缩等。HoloEdit也可以作为插件用在三方软件中,如用在 maya 中时,可以通过修改一个关键帧的 mesh,然后重新导入并应用在整个序列上,就可以完成对一段 mesh 序列的修改。下面的视频是 HoloEdit 的效果。
http://mpvideo.qpic.cn/0b2eliaaaaaaa4ac4nsj65rfawwdabnaaaaa.f10002.mp4?dis_k=cbea0c509a85569face33d9bb1d9fd59&dis_t=1649676618&vid=wxv_2338255598657830914&format_id=10002&support_redirect=0&mmversion=false
数字人内容分发是指在创建完成后,通过合适的方式将其推送给用户。由于体积视频可以在 webgl 中使用,所以它可以在大量设备上使用。8thWall 公司在探索数字人 AR 内容分发的路上迈出了重大的一步,一个最新的示例是“汉堡王上的whopper”,如下图所示:
Arcturus 提出了一种面向动态 3D 内容的自适应传输机制 Holostream,使得体积视频的传输可以简单地部署到大多数的应用中。他使用了相同的传输设施,能够以带宽允许的最高质量传输体积视频。此外,Holostream 进一步利用 CDN,将多边形面片进行流式传输,保留了数字人的 3D 属性,并且支持交互(示例视频见 https://arcturus.studio/holostream/)。
最后附上演讲视频:
http://mpvideo.qpic.cn/0bc3g4aaeaaapmacymkj6zrfan6dai3qaaqa.f10002.mp4?dis_k=956669b907cdb793c74a3606cd38e75a&dis_t=1649676618&vid=wxv_2338255315122880514&format_id=10002&support_redirect=0&mmversion=false