在IT硬件上实现视频的按行处理

本文VSF Fall Meeting 2020的演讲，演讲者是来自 Open Broadcast System 的 Kieran Kunhya ，主要内容为描述了使用 COTS（商用现货）IT服务器和相关硬件来实时处理ST 2110和其他高质量视频信号，以及与这些工作流程相关的技术挑战。

Kunhya 首先描述了需求：在COVID-19 形势下，互操作性要求在更低的成本下达到更低的延迟。体育、新闻等媒体制作需要在保持社交距离前提下（即远程）实现对媒体的编辑

当前IT工业界方法有一些局限性：IT工业界通常的处理框架（像 DirectShow，GStreamer，FFmpeg）都是以视频帧为单位处理的，等待一帧数据到来，解码处理，再编码输出，固有延迟较高。对于一些需要低级延迟的交互应用，如云游戏，我们期待更低的延迟。

Kunhya 强调，当我们讨论广播工业（而不是流媒体）的延迟的时候，我们在讨论的是亚秒级的延迟。

按行处理未压缩的IP视频有充足的时间做像素级处理，但是当前还没有广泛使用，很多组件需要自己完成。Kunhya 提到，我们在这里不能使用带有垃圾回收机制的编程语言，那会带来额外的5毫秒延迟。在解码端，按行处理的解码需要注意要避免在 slice 边界处使用 deblock，也要做高码率流的延迟/通量取舍，可能需要缓存一些 slice 来达到实时。

帧内编码如 VC-2/JPEG-XS 大约有 32-128行的延迟，因为无法做帧级码控，会有 100-200Mbps 的码率，因此当前在家用环境和一部分生产环境无法使用

当前的demo已经可以达到在合适的码率下达到5帧的延迟，可以用作 ST 2110->MPEGTS->ST 2110 的远程生产。