【专题介绍】视频编解码性能优化与实现

”

“音视频+无限可能”是一扇 LiveVideoStackCon面向新兴领域开启的大门，在移动互联网红利消失、内卷的局面下，智能车、制造、金融、医疗、出海等新兴领域还在迫切追寻新技术带来的增值。在“音视频+无限可能”，提前看到新机会、新案例、新实践。

5月20日-21日，LiveVideoStackCon 2022 上海站，和你一同开启通向未来的大门。

视频编解码性能优化与实现

视频编解码技术不断迭代的背后，是来自人们对交互体验提出更高清、更沉浸、更低延时的更高要求。为了满足人们对视频的需求，各大厂家对H.266、AV1等标准的编码器进行不断的研发与优化落地；除此之外，由于不同的视频内容以及不同的带宽特点，视频编码技术工作者们在针对特殊场景的编码优化中也在不断深耕。人、视频、编码标准，在这个需求闭环中，视频编解码技术无疑是串联整个闭环中的重要角色，到底视频编解码的性能有哪些优化？又有哪些实际的落地应用？将是本专题重点关注的内容。

出品人

张昊

Publisher

中南大学

教授

张昊，中南大学，计算机学院，教授，美国纽约哥伦比亚大学统计学硕士，纽约理工大学（现纽约大学Tandon工学院）电子工程博士。曾经获得过IEE Swan Premium Award、教育部推荐自然科学二等奖。从2006年起在美国Vidyo公司工作，在H.264/SVC方面进行了深入的研究。回国后与很多知名企业进行了视频技术项目合作，取得了不错的效果。

讲师与议题

范志兴

Speaker

Shopee

视频技术团队负责人  

范志兴，Shopee视频技术团队负责人，音视频领域十余年从业经验，在流媒体开发、视频编码器算法优化与开发方面有着丰富的经验。曾在腾讯视频云明眸团队任职高级工程师5年多时间。在Shopee任职期间，从0开始开发视频处理中台、点播/直播高清低码转码、GPU转码、数字银行开户混流、RTC连麦混流（支持转推和混流逻辑来回切换）、端上锐化性能优化等。

Topic

Shopee音视频处理中台落地应用

随着Shopee电商业务在东南亚等市场迅速展开，视频和电商结合的应用迅速落地。比如feeds流、买/卖家秀、直播带货、数字银行开户以及短视频等。东南亚大部分地区手机用户使用的是国内2010年左右普及的千元机机型，这些手机在视频编解码、图像处理方面存在严重的性能瓶颈。并且，当地网络基础设施建设不太完善，在这样的网络条件下传输媒体数据谈何容易。另外，海量的视频文件和直播视频处理给Shopee后台带来了巨大的压力。那么Shopee是如何通过技术手段来解决这一系列问题的呢？

本次分享将从3个方面为大家解开谜团。第一，高清低码。Shopee采用自研的极速高清转码，通过编码器优化与图像处理技术，在码率降低40%的情况下，尽量保持画质，该平台服务于Shopee的短视频、直播带货、feeds、rating流等业务。第二，自研SVC编码器，结合时域SVC和空域SVC，让实时视频流更容易适应各种网络情况。该编码器集成在Shopee连麦带货SDK、数字银行开户SDK中。第三，性能上的优化。一入多出编码，端上快速算法，SIMD指令集优化，服务于点播多清晰度转码平台，端上编码SDK等。

内容大纲：

1. Shopee高清低码

2. Shopee实时音视频编码技术

3. 算法性能提升

李礼

Speaker

中国科学技术大学

研究员

李礼，2011年和2016年在中国科学技术大学获得学士和博士学位，2016年至2020年在美国密苏里大学-堪萨斯分校从事博士后研究，此后至今一直在中国科学技术大学担任研究员，主要从事图像视频编码、点云编码与处理等方向的研究。迄今为止，他在这些领域发表了70余篇学术论文，获授权中美发明专利10余项。他获得了2019年国家技术发明二等奖，2016年IEEE VCIP国际会议Top 10%论文奖，2019年IEEE ICIP国际会议Best 10%论文奖，以及2016年ICME首届光场压缩挑战赛冠军。

Topic

基于视频的高维视觉数据高效编码

虚拟现实、增强现实等新型产业的高速发展催生了全景视频、光场图像、动态点云等高维视觉数据。高维视觉数据可通过投影等方式产生视频，并使用视频编码技术进行压缩。但是高维视觉数据投影产生的视频呈现出与自然视频截然不同的特点，例如，全景视频存在明显几何形变和空间不连续等，使得现有面向自然视频的视频编码技术不再高效。本演讲拟介绍一系列面向高维视觉数据的视频编码技术，可显著提升高维视觉数据压缩效率，为虚拟现实、增强现实等产业的发展奠定坚实基础。

内容大纲：

1. 虚拟现实、增强现实等新型产业催生了大量高维视觉数据；

2. 高维视觉数据高效压缩方法，包括全景视频，光场图像和动态点云；

3. 高维视觉数据压缩的潜在发展方向

王泽琨

Speaker

中国电信研究院

机器视觉研究中心工程师

王泽琨，中国电信研究院机器视觉研究中心工程师，从事机器视觉相关国际标准和国家标准制定，包括国际MPEG VCM、ITU-T SG16以及国内信标委下设标准组DCM，发表提案10余篇。参与制定视频、图片编解码参考测试平台标准，在视频编解码、特征编解码领域具有一定经验。

Topic

DCM标准、技术进展和应用探索

随着AI和多媒体技术的发展，智能安防、智慧城市、自动驾驶、工业互联网等场景对机器智能后端任务性能更加关注，编码方式与面向人眼的视觉编码会有很大不同。2020年1月，全国信标委多媒体分委会成立了面向机器智能的数据编码DCM标准组。

本次分享通过可使用授权数据集、应用场景编码需求、隐私保护需求、国标立项草案、探索实验、技术方案、参考测试平台、知识产权政策、对外联络等方面介绍DCM标准、技术的最新进展和应用探索。

内容大纲：

1. 面向机器智能的数据编码背景介绍

2. DCM标准和技术进展，包括应用场景需求、技术方案、基于特征的编解码探索实验、参考测试平台架构等

3. 面向机器智能的数据编码应用探索

何刚

Speaker

快手

视频高级算法专家

何刚，快手视频高级算法专家。2020年初加入快手，从事智能视频处理和压缩算法方向工作。2014年博士毕业于日本早稻田大学，发表学术论文50多篇，曾担任产品线架构师职务，负责产品获得央视报道。研究方向广泛，覆盖AI视频增强修复技术、超分、HDR、转码修复，以及未来视频编码算法等。

Topic

快手质臻影音：音视频智能修复及增强技术的应用落地

快手平台内视频类型种类繁多，且视频源的画面质量存在较大差异。“如何能够针对多种类型且较大质量差异视频，让用户消费到更清晰、更流畅的观看体验？”面对这一问题，快手音视频技术团队深入研究智能音视频修复及增强处理等相关技术，打造出“质臻影音”，为广大用户提供沉浸式观影体验。

本次分享将分为三个部分，第一部分介绍快手平台多种视频类型及显著质量差异，以及快手如何自动化识别检测；第二部分介绍快手的智能音视频算法如何来有效修复和增强不同类型的视频，具体包括多次转码压缩损伤和老片划痕胶片噪声等修复算法，和智能超分辨率，HDR高动态范围生成，高帧率插帧生成，以及3D环绕声场等增强算法。第三部分将介绍快手质臻影音相关智能修复及增强技术的成功落地方案及效果。

内容大纲:

1. 快手平台多种视频类型及显著质量差异以及快手自动化识别检测技术；

2. 快手智能修复和增强音视频算法：包括压缩损伤和老片划痕噪声等修复，及智能超分辨率，HDR高动态范围生成，高帧率插帧生成，以及3D环绕声场等增强算法；

3. 快手质臻影音相关智能修复及增强技术的成功落地方案及效果。