低延时、高可靠、高稳定、高安全的即时通信IM技术原创

大家好，我是腾讯云音视频技术导师刘兆瑞，今天在这里跟大家分享一下腾讯云音视频腾讯明眸极速高清的产品技术方案。那我在腾讯云音视频主要负责视频编码内核优化以及视频编码与AI的结合，希望今天的课程能帮助大家在视频编码优化以及工程落地上带来一些新的方向。同时呢，也希望能够帮助相关的产品视频媒体处理的效果上取得更好的一个效果。今天分享的内容主要分为四部分，分别是当前媒体处理的一个行业趋势，以及针对当前的行业诉求，我们推出了腾讯名模的解决方案。接下来跟大家详细介绍一下腾讯名谋是什么，包含哪些媒体处理能力。然后呢，跟大家分享一下腾讯名盟极速高清的一个技术方案，以及我们是如何优化的演进之路。

最后跟大家分享一下视频压缩极速高清方案的一个未来的发展方向。腾讯云音视频服务了很多视频行业的客户。那从我们服务的大量客户以及用户的诉求来看，目前视频处理行业有下面几个趋势。首先，随着带宽资费的降低以及观看设备分辨率的升高。人们对视频的清晰度有了越来越高的要求，尤其是广电行业、大屏电视等对于4K片源有着越来越多的需求。然而，从视频制作端来看，目前大部分生产的视频还是1080P的。因此，画质增强、视频超分等基于AI的画质提升技术越来越受到人们的关注。除此之外，近年来视频行业的高速发展，尤其是直播、短视频的兴起。越来越多的互联网公司开始发展自己的视频业务，对于海量的视频观看来说，存储和带宽成为业务运营的重要成本组成部分。

那与此同时，视频观看的流畅度，手帧打开的时间也是影响用户观看体验的重要因素之一啊。在这样的背景下，能够高清晰度、低码率的编码视频就成为泛互联网企业的重要诉求之一。从未来的发展趋势来看，那云、宇宙、VR也在慢慢的兴起，而这些无疑都需要超高清的视频传输。而高清低码、即时压缩、画质增强等相关技术，可以极大的降低传输带宽瓶颈，提升视频观看体验。对于我们来说，这项技术也一定是未来的发展趋势之一，也是在上述客户的诉求和背景之下，我们提出了腾讯明谋解决方案。下面跟大家详细介绍一下腾讯名谋的基础能力以及视频处理流程。腾讯名谋的基础能力主要由三部分组成。

其中，极速高清提供极致的压缩能力，支持感知编码细节、增强视频去噪等能力。画质重生则更加专注于视频画质的提升。支持视频超分、智能插帧、色彩增强等能力。腾讯明眸除了视频处理之外，也与腾讯天籁实验室相合作，支持包括音频降噪、去混响、响度管理的能力，全力支持视频业务的快速发展。腾讯名眸的整体处理pipeline也与普通媒体处理的流程有较大的区别。在视频解码之后，我们会先进行场景分析、毛刺检测、噪声检测、交错检测等一些对于视频源的预分析流程。来分析视频源的画面质量。然后我们会针对不同的场景和不同的画面质量情况，使用对应的画质增强以及修复技术。

在对视频源进行了修复之后。我们会对画面进行二次分析来辅助后续的视频编码流程。在编码预分析这里，我们会分析视频的RGND等信息以及内容自适应编码信息。最后呢，我们会利用这些信息来进行更符合人员主观的编码流程。在编码过程中，我们也对视频的一个编码内核进行了深入的优化。在对编码内核进行深入的优化过程中。我们也在腾讯内部集合了多个部门，进行了多个部门之间的通力合作，自研了包括O264、V265、MAYO266等一些先进的编码器，相比开源的编码器可以极大的提升视频的压缩率。今天的课程这里主要分享一下腾讯名盟极速高清的技术演进之路，呃，以及我们在演进的过程中是如何思考的，如何考虑的。这里首先先介绍一下什么是极速高清。

极速高清的目的是在不降低或者提升人眼感官的前提下，尽可能的降低视频码率，节省带宽以及存储成本，提高观看的流畅度。那我们的极速高清技术其实也是基于上面提到的腾讯明谋视频处理框架来进行实现的。极速高清的处理技术也包括视频预分析、前置处理以及视频自适应编码等几步。与普通的转码相比，可以降低带宽，同时呢也能在一定的程度上提升人脸的主观感受，那从极速高清技术所使用的编码内核来看。极速高清，也引入了很多先进的编码内核。在2021年的MSU云端编码大赛上。腾讯明眸取得了多项第一的成绩。尤其在视频编码质量的评测上。极速高清相比第二名可以有20%以上的一个编码增益。除此之外，极速高清也支持了H2、66VVC等下一代编码器，那我们在这些先进的编码器上也拥有100项以上的专利。当然，极速高清所取得现在的一个压缩效果也不是一蹴而就的，也是经历了多个版本的迭代过程。在极速高清的初始研发时，我们更加专注于如何利用好当前的编码器和画质处理能力，我们发现人眼对不同场景的感受是不一样的。

比如在一些游戏中有很多的草地，这个时候通过编码参数的控制，我们可以减少纹理复杂区域的码率。虽然这部分区域的码率减少，会在纹理复杂区域产生振铃效应和一些毛刺。但是由于复杂纹理效应所导致的遮盖效应，其实人然并不能感知到这个地方编码质量的一些智能结果。

基于这样人员感知的特性不同，那我们针对不同的视频场景分析当前的画面特征，合理的利用视频编码的特性，那就可以实现在更低的码率下，同时保证人眼的感官，那在这样的背景下，我们支持了上百个模板，以及对于各种不同场景的一个适配，来更好的去符合业务的需求。那随着业务的持续迭代与发展，我们发现开源的编码器虽然在业界有比较好的效果。但是其实是很难完全满足实际的业务需求，而且开源的编码器在实现上其实也没有将标准所有的特性全部实现，并没有完全发挥出标准能够达到的一个及时压缩效果。因此在对极速高清进行第二阶段的优化过程中，我们主要集中在对于编码器内核的算法调优，那我们腾讯内部自研的O266编码器，相较于开源的叉264，可以有20%以上的编码增益。VR65编码器相较于开源的叉265编码器，可以有40%以上的编码增益，那这里我们以新增支持的JPP帧为例，我们知道B帧的红块是可以有两个MV来进行参考的，这样可以极大的提升视频压缩效果，但是B帧因为后项参考的关系，会增加编码的延迟。

因此，虽然B帧N能够提供较好的压缩率，但是低延迟直播以及RTC等场景通常还是会关闭到B帧。那有没有办法能够同时利用逼帧，在标准上支持到两个MV的特性，同时呢，还能够在这样的场景下保持低延迟？为了优化这一问题，我们在编码内核上支持了JPP帧，即该帧，虽然在标准上我们会标志为B帧，因此呢，从标准上来看，该帧的红块可以有两个MV，但是在实现的过程中呢，我们的两个MV都只会做前项参考，不会进行后向参考。因此呢，不会引入额外的延迟。

同时呢，也可以利用多MV的特性提升视频的压缩率，当然这里只是举一个例子。在实际的运营和优化过程中，我们发现开源的编码内核和实际的业务上还是有比较大的区别，可以去进行优化和调优的。那在对编码内核进行了非常深入的优化之后，随着我们业务的不断迭代与发展，那我们又面临了新的挑战，在一些极限压缩的场景，客户希望720P的一些带货主播的视频可以达到350K以下的马力输出。同时呢，能够保证视频整体的一个清晰度，在这个时候我们发现仅靠编码器的压缩很难达到一个理想的效果。那之后呢，我们开始思考那编码器的一个不足之处，和如何的进一步的去优化编码器，来实现编码器的一些不足之处。首先呢，我们发现了几个特性，第一个我们处理的视频通常是被压缩过的，因此呢，我们拿到的视频源一定其实已经存在了一些压缩造成的噪声。

那这些噪声可能人眼无法感知到，但它一定是真实存在的。如果我们从派派索的角度来看，但是呢，我们在进行编码器压缩的时候，编码器是无法区分这些毛刺毛边是一些真实的纹理还是一些噪声数据。因此呢，也会对这些毛刺毛边进行一个压缩，而这些毛刺毛边的压缩其实会消耗编码的过程中的大量的码率，而这些码率其实都完全浪费掉了。其次呢，编码器的核心其实还是基于数据驱动的，因此呢，并没有从人眼的角度来考虑问题。当我们设置的码率极低的时候，编码出来的画面很有可能会有很多的块效应，同时呢，对于一些细节可能有保留的比较好啊。针对上面的两种情况，我们结合AI的能力，那在编码前对视频源进行相应的前置处理，来使得视频源更加适配编码的场景，其中呢，我们会结合AI的前置处理模型来抹平视频源中所附带的一些毛刺和毛边，使视频的整体边缘呢更加平滑，那也更有利于视频的压缩。

其次呢，当我们编码所设置的码率很低的时候，这个时候我们的前置处理模型会预估压缩后的视频将会产生大量由于码力不足所导致的块效应以及大量的噪声，这个时候呢，我们就可以通过前置处理，预先呢将一些复杂的纹理进行简化，对视频进行一定程度的平滑，从人眼的主观角度来简化视频，进而呢，使得视频更容易被压缩，对编码器更加友好，这样的话呢，在一个低码率的情况下，也可以保持一个良好的编码效果。当然呢，使用极速高清之后，可以给业务带来的收益也是十分明显的，以腾讯内部的业务为例，那使用极速高清之后，可以节省了大约70%的存储以及带宽成本，同时呢，由于文件的减小，那视频首帧的耗时也降低了大概20%，整体播放的流畅度也大大提升。

尤其呢是对于点播场景的极限压缩来说，1080P的高清视频源啊，极速高清H264可以在1.5兆的码率下保持整体的主观清晰度，或者说保持微分在95分以上，H265则可以在900K的码率上达到一个同样的效果，A甚至可以做到650K的码率。对于课堂教育类的场景压缩效果那会更加明显，课堂类的场景相对性质画面较多，那我们可以使用更多的一些编码工具来进行优化。对于PP类的课堂场景来说，极速高清HR64可以做到67KB的码率，那同时呢，保证我们主观的一个清晰度啊，HR65呢可以做到35KB的码率，那AV的极速压缩呢，可以做到28KB左右的一个码率。此时呢，视频的码率其实已经低于音频的码率了，极大的减少了视频的存储和带宽成本。那腾讯名模的另一个特性呢，就是充分利用腾讯云在全世界的海量资源部署服务全球，在各个地区都有相应的处理集群，那可以符合各个区域的法律法规要求，助力国内的企业更好的出海发展。目前呢，腾讯名模的接入也是非常方便的，其中MPS的媒体处理服务可以触发视频转码，在转码模板的配置上，我们可以选择极速高清来进行一个极致的视频压缩，那对于专门进行画质提升的场景来说，那我们可以使用画质修复的能力。

腾讯名眸的画质修复能力可以通过智能编辑产品来进行体验，包括视频超分、智能插帧、色彩增强、视频加新等，画质提升的能力可以给客户提供更加清晰的视频体验。最后呢，在这里跟大家分享一下，那我们极速高清视频处理在后续的一个发展方向以及思考，对于我们腾讯名模解决方案来说，极速高清后续的发展主要有两个主轴。

一方面呢，是与AI的能力进行进一步的深入的结合，在前处理阶段利用AI的能力进一步优化视频处理画面来更好的辅助压缩。那在编码内核的内部，我们会利用AI的能力来对IDO的分析进行一些预测以及加速。那从播放端来看，那我们会更加致力于LCVC的实现与支持，以及端测的超分和端测的画质提升，那另一方面呢，我们的优化重点是针对于直播场景。目前呢，我们有很多非常好的优化的编码工具，但是它的复杂度比较高，对于直播场景很难保证实时。那下一步的工作呢，也会对于这些编码工具进行进一步的优化以及加速，使其呢更好的应用于直播场景，这就是今天分享课程的全部内容，谢谢大家观看。