PCS 2021正式召开：腾讯多媒体实验室分享最新研究成果与实践

引言：本文回顾了多媒体实验室，在PCS 2021多媒体行业研讨会的分享内容。

 关于我们 

 About US 

2021年6月30日，第35届图片编码研讨 Picture Coding Symposium（以下简称PCS）在线上召开。PCS侧重于音频、视频和高维媒体内容的高级压缩，是全球规模最大、覆盖最广的多媒体技术会议之一。腾讯多媒体实验室受邀在会议期间举办了多媒体行业研讨会，腾讯杰出科学家刘杉及多媒体实验室研究员们展示了在多媒体算法和系统设计方面的研究成果，积极共享前沿技术在平台实践中的应用经验。目前，这一系列研究成果已被多项国际标准接收。在5G 时代提速发展的背景下，腾讯多媒体实验室在多媒体领域持续深耕，为全球数亿用户提供更加先进的多媒体技术，为打造更高速、更高清、更具互动性的多媒体提供“腾讯方案”。

实验室能力分布

 Ability Distribution 

在开场环节中，腾讯多媒体实验室负责人刘杉博士指出，实验室致力于研究和开发可用于现有和设想应用的新兴多媒体技术，主要内容包括图像、音频、视频、三维数据的高级压缩（编解码）及智能处理，和包括网络传输在内的实时通信，基于信号处理理论和深度学习方法的多媒体内容质量评估处理、分析、理解，利用AR、VR、XR、全息等互动沉浸式媒体实现端到端解决方案的系统设计。此外，实验室还积极参与国际国内技术标准的制定，包括但不限于多媒体数据压缩、网络传输协议、多媒体系统、多媒体AI和开源平台，迄今已有超过300个技术提案被国际标准所采纳，为国际技术标准的制定作出了巨大贡献。同时，实验室积极推动各项技术的实际应用进程以及产品落地，所涉技术已经在腾讯云、腾讯会议、腾讯影业、腾讯视频、腾讯音乐、腾讯游戏、腾讯文旅、QQ、企鹅FM和央视频等产品中落地实践，为数亿用户提供了优质服务。

 国际国内行业标准制定 

 Standards 

作为研讨会的首个分享嘉宾，腾讯多媒体实验室行业标准总监Stephan Wenger 博士表示，在标准制定方面，腾讯多媒体实验的研究领域包括图片、音频、视频的压缩、传输和AI。实验室成员积极参与相关工业论坛，以技术推动产业的发展。腾讯多媒体实验室积极参与JVET、MPEG、VCEG、AVS、AOM、Video Quality Standards、3GPP、IETF等国际核心标准组织，实验室专家在各标准组织中担任重要职务，在深入标准研究制定的同时积极推动标准技术落地，广泛应用服务于腾讯各业务线。

融合智能媒体

 Intelligent Media 

腾讯多媒体实验室总监、融合媒体研发负责人李松南结合自身开发智能媒体的经验，介绍了腾讯多媒体实验室使用AI技术在视频编码、视频编辑、视频增强与恢复、音乐及视频分析等多媒体处理及计算机视觉领域的应用。李松南表示，大众对于人工智能有着感知、互动、决策三个不同层次的需求，而腾讯多媒体实验室专注于利用智能算法解决媒体感知层面的需求。在AI+视频方面，腾讯多媒体实验室已经研发出许多使用深度学习的视频增强算法，尤其是在云端，各种算法使用 GPU 卡有更高水平的视频处理能力。同时，深度学习在标记视频内容、过滤低质量视频、剪辑视频素材等方面均有广泛运用。在AI+音乐方面，实验室开发了节拍跟踪算法，以及视频和音乐匹配算法，前者让短视频的节奏更加贴合音乐节奏，后者则可以迅速找到最适合视频的音乐。

沉浸式媒体

 Immersive Media 

腾讯多媒体实验室专家研究员简兵在，以“沉浸式媒体技术与产品”为主题的分享中，介绍了实验室在沉浸式媒体VR360、Freeview、点云等技术领域的研发成果。其中，在点云建模领域，通过自研算法，解决了复杂场景下全景图重建点云模型的难题，成功实现了通过全景图重建空间点云模型，为用户提供6DoF步入式漫游的效果。同时，团队通过对沉浸式系统层，点云建模，展示渲染，VR360视频编解码，传输，渲染展示等模块的技术开发。结合5G，VR，AR等相关技术能力，为行业打造了多样化的3DoF到6DoF的沉浸式媒体解决方案，目前已成功应用于教育、文旅、娱乐、会议会展、地产等多个行业。

多媒体视频压缩

 Video Compression 

腾讯多媒体实验室在标准、智媒、沉浸式媒体等领域有所建树以外，也一直致力于探索多媒体视频压缩技术。腾讯多媒体实验室视频编解码研发首席软件工程师就“多媒体视频压缩技术及解决方案”进行了演示分享。实验室在多媒体压缩领域拥有多年的技术积累和强大的开发团队，编解码技术覆盖多种行业标准格式，包括H.264、H.265、H.266、VP8、VP9、AV1、AVS、AVS2、AVS3。视频压缩技术提供跨平台、跨终端的软硬件优化方案和技术支持，适用于云游戏、视频转码、实时广播和实时通信等应用。

未来，腾讯多媒体实验室将在多媒体领域持续深耕，在满足市场多样化需求的同时，为行业的技术突破贡献新力量。面对超高清多媒体时代的来临，腾讯多媒体实验室将继续助力行业标准的统一化与规范化，为新兴技术拓展新的应用场景为全球数亿用户提供更加先进的多媒体技术，为打造更高速、更高清、更具互动性的多媒体提供“腾讯方案”。

编辑：张意晗，Xinya