PCS 2021 | 腾讯多媒体实验室国际国内行业标准制定、智能媒体、沉浸式媒体、视频压缩技术成果与实践分享

01

前言

01

第35届图片编码研讨会PCS2021 (Picture Coding Symposium)，于2021年6月30日在线上召开。腾讯多媒体实验室受邀参加本次大会，在本届大会中主要分享了国际国内行业标准制定、智能媒体、沉浸式媒体及视频压缩技术的成果与实践，其中行业标准中的多媒体算法已被多项国际标准接收。

02

作为全球规模最大、覆盖最广的多媒体技术会议之一，PCS侧重于音频、视频和高维媒体内容的高级压缩。

03

在5G 时代提速发展的背景下，腾讯多媒体实验室在多媒体领域持续深耕，为全球数亿用户提供更加先进的多媒体技术，打造更高速、更高清、更具互动性的腾讯多媒体时代。

02

论文解析

01

腾讯多媒体实验室在PCS上发表论文两篇，分别是《面向游戏内容的视频编码工具分析和数据集》"Video Coding Tool Analysis and Dataset for Gaming Content"和《移动平台上优化的 H.266/VVC 软件解码器》"An Optimized H.266/VVC Software Decoder On Mobile Platform", 以下是论文详解：

《面向游戏内容的视频编码工具分析和数据集》

近些年来，伴随着游戏产业的快速增长以及相关技术的发展和关注度提高（例如云游戏），更具挑战性的新需求开始涌现并成为影响用户体验的关键。游戏视频内容的压缩，作为驱动应用和影响用户体验的底层核心技术，为视频编码技术领域带来诸多新的挑战。相比传统设备采集的视频内容，游戏视频内容通常具备非常不同的信号特征。针对这些特征的视频内容，视频编码算法的性能也会呈现一些不同的规律。在这篇论文中，我们测试了新一代视频编码标准AV1和VVC的多个核心编码工具在一些游戏内容上的性能，并对结果进行了深入的分析和总结，这些分析将对研发下一代针对游戏视频内容的压缩算法提供重要线索。与此同时，这篇论文的贡献还包括提出一套可以用于视频编码算法研究的游戏视频数据集，这些数据集将非常有助于推动针对游戏视频的高效编码算法的研发，进一步推动游戏产业的发展。

《移动平台上优化的 H.266/VVC 软件解码器》

作为H.265/HEVC的下一代视频编码标准，H.266/VVC可在主观质量相同时节省码率达50%，可为视频应用节省大量成本。然而码率节省的同时也带来了极大的解码复杂度。为了加速H.266/VVC标准的应用，我们实现了一个统一的、能够应用于各平台的实时H.266/VVC解码器。考虑到移动设备已经成为必不可少的视频播放终端，基于移动设备的优化是本工作的重点。具体的，解码器的优化被分为通用技术优化与利用VVC工具集特性的优化。其中通用的优化主要包含SIMD技术以及多线程优化，针对ARM平台，使用NEON指令集实现SIMD，可大幅提升数据处理效率。而多线程优化则主要将解码过程中无数据依赖的部分并行处理，在所实现的解码器中，包含了图像集并行、CTU级并行、工具任务级并行以及子CTU级并行。针对利用VVC工具集特性的优化，我们重点对解码耗时最大的两个模块——自适应环路滤波模块（ALF）与帧间插值模块进行剖析并针对性地进行优化，利用数据特性，节省大量的冗余计算，从而获得加速。实验结果表明，利用8bit VTM通用测试码流，平均单线程解码速度可在苹果A14处理器 (测试平台：iPhone 12pro)上达到1080p 53fps的解码速度。而当使用多线程时，4K的解码速度可以达到平均32帧每秒。

01

技术研讨会

下方YouTube链接为腾讯多媒体实验室在PCS2021大会中分享的多媒体技术：

https://www.youtube.com/watch?v=e_W8YnFPKUc

实验室能力分布

在开场环节中，腾讯多媒体实验室负责人刘杉博士指出，实验室致力于研究和开发可用于现有和设想应用的新兴多媒体技术，主要内容包括图像、音频、视频、三维数据的高级压缩（编解码Codec）及智能处理，和包括网络传输在内的实时通信，基于信号处理理论和深度学习方法的多媒体内容质量评估处理、分析、理解，利用AR、VR、XR、全息等互动沉浸式媒体实现端到端解决方案的系统设计。此外，实验室还积极参与国际国内技术标准的制定，包括但不限于多媒体数据压缩、网络传输协议、多媒体系统、多媒体AI和开源平台，迄今已有超过300个技术提案被国际标准所采纳，为国际技术标准的制定作出了巨大贡献。同时，实验室积极推动各项技术的实际应用进程以及产品落地，所涉技术已经在腾讯云、腾讯会议、腾讯影业、腾讯视频、腾讯音乐、腾讯游戏、腾讯文旅、QQ、企鹅FM和央视频等产品中落地实践，为数亿用户提供了优质服务。

国际国内行业标准制定

腾讯多媒体实验室行业标准总监Stephan Wenger 博士表示，在标准制定方面，腾讯多媒体实验的研究领域包括图片、音频、视频的压缩、传输和AI。实验室成员积极参与相关工业论坛，以技术推动产业的发展。腾讯多媒体实验室积极参与JVET、MPEG、VCEG、AVS、AOM、Video Quality Standards、3GPP、IETF等国际核心标准组织，实验室专家在各标准组织中担任重要职务，在深入标准研究制定的同时积极推动标准技术落地，广泛应用服务于腾讯各业务线。

智能媒体

腾讯多媒体实验室总监、融合媒体研发负责人李松南结合自身开发智能媒体的经验，介绍了腾讯多媒体实验室使用AI技术在视频编码、视频编辑、视频增强与恢复、音乐及视频分析等多媒体处理及计算机视觉领域的应用。李松南表示，大众对于人工智能有着感知、互动、决策三个不同层次的需求，而腾讯多媒体实验室专注于利用智能算法解决媒体感知层面的需求。在AI+视频方面，腾讯多媒体实验室已经研发出许多使用深度学习的视频增强算法，尤其是在云端，各种算法使用 GPU 卡有更高水平的视频处理能力。同时，深度学习在标记视频内容、过滤低质量视频、剪辑视频素材等方面均有广泛运用。在AI+音乐方面，实验室开发了节拍跟踪算法，以及视频和音乐匹配算法，前者让短视频的节奏更加贴合音乐节奏，后者则可以迅速找到最适合视频的音乐。

沉浸式媒体

腾讯多媒体实验室专家研究员简兵在，以“沉浸式媒体技术与产品”为主题的分享中，介绍了实验室在沉浸式媒体VR360、Freeview、点云等技术领域的研发成果。其中，在点云建模领域，通过自研算法，解决了复杂场景下全景图重建点云模型的难题，成功实现了通过全景图重建空间点云模型，为用户提供6DoF步入式漫游的效果。同时，团队通过对沉浸式系统层，点云建模，展示渲染，VR360视频编解码，传输，渲染展示等模块的技术开发。结合5G，VR，AR等相关技术能力，为行业打造了多样化的3DoF到6DoF的沉浸式媒体解决方案，目前已成功应用于教育、文旅、娱乐、会议会展、地产等多个行业。

多媒体视频压缩

腾讯多媒体实验室在标准、智媒、沉浸式媒体等领域有所建树以外，也一直致力于探索多媒体视频压缩技术。腾讯多媒体实验室视频编解码研发首席软件工程师就“多媒体视频压缩技术及解决方案”进行了演示分享。实验室在多媒体压缩领域拥有多年的技术积累和强大的开发团队，编解码技术覆盖多种行业标准格式，包括H.264、H.265、H.266、VP8、VP9、AV1、AVS、AVS2、AVS3。视频压缩技术提供跨平台、跨终端的软硬件优化方案和技术支持，适用于云游戏、视频转码、实时广播和实时通信等应用。

请随时与我们联系并分享您的需求：

腾讯多媒体实验室

jeffreyye@tencent.com

作者：张意晗

编辑：张意晗