有丢包信道下的带宽受限无线视频通信

来源：SPIE2021 演讲者：Dr. Pankaj Topiwala, Dr. Wei Dai 翻译整理：李昊勇 这篇文章主要总结了在有丢包和带宽限制的信道下的无线视频传输实验。

目录

• 仿真搭建
• 分辨率 vs 质量
• FVT 实验结果
• 无人机视频序列实验
• 总结

仿真搭建

随着移动设备数量快速增长，国防监控需求也在增大。然而由于无线通信本身就可能出现丢包，因此在编码、视频质量以及误码纠错中一直都有着权衡。

Pankaj 实现了一个仿真平台，并使用了标准视频测试序列，基于通用的工程编码器，以及自己拍摄的航空视频来进行仿真测试。Pankaj 主要关注的是在带宽为 750kbps 下的视频传输，并使用 H.264 和 H.265 进行测试，同时学习分辨率，视频编码，前向纠错 FEC 以及信道参数空间。在初始状态下，使用了相同的分辨率，码率，FEC 和信道类型，使用两种不同的编码器进行编码，并最终评估收到的视频质量。

分辨率 vs 质量

由于 Pankaj 希望同时具备高分辨率和高质量，这里就引入了一个权衡。对于分辨率 1080p 最好，但是也可以接受 720p。对于感知视频采集平台，如果视频内容相对稳定、少量运动元素，则可以使用 1080p 的视频；如果视频内容有中等运动元素，则可以使用 720p，对于运动量更剧烈的视频则必须使用更低的分辨率。视频质量 Pankaj 使用 PSNR 进行评估，并希望至少达到 30dB。对于低比特率和一定程度视频质量组合，H.265 有了一定的优势。

Pankaj 搭建了一个 Fast VDO Transmission（FVT）工具组，来仿真一个视频从产生到视频编码、信道编码、传输、信道解码、视频解码的全过程。

FVT 实验结果

Pankaj 展示了两个他们正在运行的 FVT，并展示了实验结果。

第一个实验中没有传输丢包，结果果不其然 H.265 比 H.264 有着更好的表现。且视频质量随着变高的码率持续变高。Pankaj 做这个测试是为了给 H.265 和 H.264 的表现差距定一个基准线。

在第二个实验中传输丢包率为 1%，并使用基于 NALU 丢包的仿真，且没有 FEC，意味着一丢包就会丢一整段的码流。结果是 H.265 保持了微弱的领先。

在第三个实验中，丢包不再基于 NALU，而是基于包级。这意味着码流更加脆弱。在这种情况下，H.264 有了更好的表现，且随着码率的增大，质量却在下降，因为越来越多的包丢了。

在第四个实验中，H.265 的参数配置被设为逼近 H.264 的设置，在 1% 的丢包率下，两者在 RD 表现上的最高点十分逼近。

最后 Pankaj 测试了 SMPTE2022 标准的 FEC，在不同的 FEC 下，H.264 可以达到的 PSNR 为 37 左右，在 H.265 可以超过38。

这个是一个 CrowdRun 视频序列的实验，总共 500 次仿真，H.264 使用 5Mbps，H.265 使用 3Mbps，信道使用瑞利衰落信道，FEC 使用极化码，信道本身的信噪比范围在 4-7。从结果上可以看到当信号功率很强，且信道质量也很高时，H.265 有着更好的表现，相反，当信号功率较弱，信道质量较差时，H.264 则有了更好的表现，因为其对于丢包有着更好的抗性，尽管这种情况下获得的视频质量已经不够用了。

但是当 H.264 被强行设置为与 H.265 接近的码率时，就算在有丢包情况下他也无法到达 30db，在这种情况下 H.265 的效果碾压了 H.264。

如果用 480p 的 Basketball 视频序列，并通过有误码纠正的有损信道传输，可以看到随着信道质量逐渐变好，H.265 的传输效果提升速度比 H.264 更快。

对于 480p 的 CrowdRun 视频序列，在 750kbps 的码率下，呈现出了与前一个实验类似的效果。

而在 360p 的 CrowdRun 视频序列，750kbps 的码率下，可以看到在高信道质量下 H.265 依然有着比 H.264 更好的效果，而在低信道质量下 H.264 的效果更胜一筹，与之前的结果类似。

无人机视频序列实验

接下来 Pankaj 做了一些无人机视频序列实验，视频内容十分稳定简单。H.264 和 H.265 都能给出非常好的结果，在这种情况下 H.265 没有很多的超过 H.264 的发挥空间。对于 H.265 的进阶模型结果没有什么区别。尽管 H.265 和 H.264 的视觉观感差不多，但是在 PSNR 图表上 H.265 随着信道质量的提高还是超过了 H.264。

对于另一个更有挑战性的无人机视频序列，无人机旋转拍摄视频内容。在 750kbps 的码率下，就算没有传输丢包，H.264 也没有办法很好地编码这个视频。基于 IPP 的 H.265 结果略好一些，而进阶 H.265 的结果更加优秀，甚至能完成 1080p 的编码。

在有传输丢包环境的实验里，可以看到相同的效果：信道质量越好，H.265 表现越好，且会超过 H.264。对于另一个内容线性变化的无人机视频序列，测试结果也是相同的。

总结

Pankaj 搭建了一个 FVT 平台用于仿真网络并进行视频编码传输测试，同时采集了一些高质量无人机视频测试序列。Pankaj 对这些实验做了些总结：在小于 1Mb 的有丢包信道下的视频传输是很困难的。在 750kbps 码率下的 MPEG 和 JPEG 标准视频序列下都做了测试，H.265 由于其相对更加高效而有着更大的优势，然而 H.265 也更加需要更好的防止丢包的技术来获得更好的表现。

最后附上演讲视频：

http://mpvideo.qpic.cn/0bc3neaauaaa7uae4d6rtfqva2odbjuqacqa.f10002.mp4?dis_k=a6aa847c0b54dbd38c2d9c97510b99c7&dis_t=1642643615&vid=wxv_2206409611409227778&format_id=10002&support_redirect=0&mmversion=false