首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

5G时代来临,交互式视频会成为下一代视频黑科技吗?

5G时代,视频内容形态将迎来三个趋势:一是依托5G的大带宽,超高清视频将真正落地;二是沉浸式视频迎来发展,但如同《头号玩家》所描述的,沉浸式视频体验是人类感官消费的最终形态,还有很长的路要走;三是交互式视频,包括3D视频、AR形态视频、游戏化视频,以及借由AI赋能的新视频消费方式。优酷在这些领域都有布局,下面将重点分享5G下,交互式视频中的3D视频技术及应用趋势。

一、视频的交互能力从何而来?

交互式视频与单向接收式视频的最大区别在于,交互要有额外的信息反馈,目前有四种交互能力:一是最传统的方式,如评论、点赞等,依靠视频之外的内容提供交互的可能性;二是信息量来自时间轴。视频形态以互动剧为主,让用户选择情节走势,在时间轴上创造更多信息量;三是信息量来自空间域。同一时刻在空间上为用户提供多样化的观看选择。如《这!就是街舞》中的多视角直拍,世界杯中不同演播室和不同风格的解说,都是让用户在同一时刻有更多可看内容。

四是信息量来自从2D到3D的视频形态变化。当视频形态从2D变成3D时,视频内容的整体组织形式就会有更丰富的结构化信息。基于立体视觉的6DoF视频就是方式之一。

二、交互式视频形态:准6DoF视频,子弹时间

首先介绍下6DoF,6 degrees of freedom,其概念来自于物体在空间中运动时有六个不同的自由度——前后、左右、上下三个平移自由度,以及三个旋转的自由度,对应的就是点头、摇头、歪头。从自由度视角重新审视VR,会明显发现,基于固定的VR相机拍摄的VR视频只有三个自由度:可转头但不能移动,代入感非常差。

而6DoF视频,是一种更自由的视频形态。首先“脚可以动”,用户可以虚拟和移动观看位置;其次“手可以动”,通过一定的手势操作来影响视频内容画面本身。优酷目前正在做的6DoF视频,通过相机阵列来拍更大范围,获得更多的观看自由度。

其实,类似的6DoF技术已有很长历史,最经典的是《黑客帝国》中男主角NEO仰身躲子弹的慢动作镜头,当时依靠一整排照相机拍摄,将每个相机拍好的图片叠加在一起,再生成视频,在上个世纪看起来非常具有视觉冲击力。

20年后,我们依然在做类似的视觉呈现,技术上有何不同?其变化主要源自三方面,1)从电影特效到工业化的制作,不在使用原始拍摄图片,拍摄成本降低,展示自由度提升。 2)自由的特效创作,更大的发挥空间。3)使用摄像机,支持视频形态。

今年,优酷将6DoF视频技术首次应用到国内体育赛事(如CUBA)直播中,我们将投篮画面做定格,将运动员相对的位置关系、动作,通过多视角呈现,带来现场感的观看体验。

三、交互式视频形态:6DoF视频

严格意义上,子弹时间是2D视频,更侧重后期制作。真正的6DoF视频形态是在观看过程中,用户可以通过手指拖拽操作,选择观看角度和位置。虽然摄像机是线状的,但可以不依赖原始摄像机位置,实现上下和前后位置的调整,包括近景的人物特写、远景的全景画面。

很多人会联想到VR视频,但6DoF和VR视频有明显区别。比如,在一场体育赛事中,VR视频可以向前看球员、向左右看场地,向后看观众,听起来视觉上更自由,但实际画面是散点的,并不跟随“踢球”这一主线来组织画面内容,用户看到的越多,越难以抓住视觉重点。而6DoF视频,摄像机阵列都在拍摄画面中的同一个位置,呈现的永远是兴趣度最高、最有趣的内容,用户只是选择观看角度和方式,实际上比传统VR视频有更好的视觉体验。

上图是《这!就是灌篮》、双11天猫潮流盛典等的场景,无论俯拍还是仰拍,无论相机安装是弧形还是直线,都可以实现。

四、交互式视频的技术链路

交互式视频的技术链路,以6DoF视频为例,其拍摄跟普通视频拍摄的链路是一样的,包括三个环节:

  1. 现场拍摄环节。多机位同步控制与拍摄,将采集好的视频和图像上传到云端做处理。
  2. 云端处理环节。在云上计算画面中物体的景深关系,生成基准视角的视频图像载体,并将视频图片编码,通过CDN传到用户手机上。
  3. 端侧播放环节。在用户端做解码,根据用户的交互操作,计算视点位置,对虚拟视点做渲染,最后显示到屏幕上。传输视频格式是通用的H.264/H.265,播放设备本身具备解码能力,保证覆盖几乎全部机型。端到端的实时画面生成效率,同时兼顾手感,从技术角度来就是低延迟。

技术链路中的关键点,是如何生成6DoF视频的处理环节。

首先,传输到用户端的画面,由色彩图和深度图构成。深度图用灰度来表示物体之间的距离,其复杂性在于如何实时、准确地推算出深度并生成基准视频。深度评估与影像生成之间是反比关系,需要技术权衡与取舍。

其次,传输宽带也是影响因素之一。深度图和色彩图被压缩后会模糊,基于模糊的图像所进行的新视角生成会把瑕疵放大。目前,从优酷的实践看,100Mbps以上的带宽,在4G移动网络下是很难实现的,必须依赖5G视频技术。

6DoF视频节省宽带传输的第二个解决方案类似云游戏,不需要将拼接视频传到用户端,只需将用户视角的信息传到云端。云端按照用户希望看到的画面做处理和渲染,生成2D视频,这样所占用的宽带就很小了。但为了观看流畅,整体链路的延迟需要非常低,这部分又依赖5G的低延迟特性。

五、交互式视频应用前景

从行业角度出发,视频标准化更倾向于从传统的视频压缩到3D相关的视频处理。可以看到MPEG的Roadmap中,从6DoF到光场到点云的压缩处理,都是围绕3D和立体视频的技术进行的。优酷在国内的视频标准AVS部分,从VR标准就开始深度参与。目前我们与北大一起制定基于深度的6DoF视频标准,预计今年会公布初步标准。

综上所述,6DoF视频、3D建模视频以及VR视频,在业务模式、技术路径和应用场景方面都有区别。6DoF视频的特点是自由视角的播放以及事后的内容组织重建能力,它在记录真实世界、在以体育比赛和舞台表演为核心的内容上有很明显优势。落到优酷的内容场景上,适用于信息密度大、需要有临场感的内容,所以演出、团体组合、体育和舞蹈教学类视频,6DoF视频都可以发挥作用。

另外,在交互式视频的趋势下,视频和游戏的边界正在模糊。传统游戏最核心的特点,包括情节代入感强、用户可通过操作影响内容走势,都在逐渐纳入互动视频的制作中。另一方面,传统视频的特质,包括非常有艺术感的剧本和情节,真实画面和真人演出,在游戏中也越来越常见。二者之间的融合源于两方面:一是随着算力的大幅提升,提供了将真实世界数据化的能力,其核心是将画面进行结构化的提取,通过3D建模去理解场景内容。二是连接能力的提升,将用户和生产者的距离拉近,在消费内容时的交互能力越来越高。

随着5G带来的连接能力和云带来的算力的双重提升,交互式视频将成为视频内容革新浪潮中那一朵最闪亮的浪花。

  • 发表于:
  • 本文为 InfoQ 中文站特供稿件
  • 首发地址https://www.infoq.cn/article/CraUEIbKYFcKhjI3kq3S
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券