刘歧:视频云处理平台素材合法化

本文首发在腾讯云开发者社区，未经许可，不得转载。

OnVideo视频创作平台联合创始人、CTO刘歧

视频处理素材库各式各样，也会涉及到很多合法化或者安全性的问题。这些问题如何解决？接下来有请OnVideo视频创作平台CTO刘歧先生，为大家带来他的一些实践跟应用。

自我介绍

我是一个纯写代码出身的人，工作时间也不长，大概是11年，从事过机顶盒FlashPlayer开发、LinuxBSP开发，在做云存储的时候，顺便做云转码，开始使用FFmpeg，后来参与FFmeg开发，然后成为FFmpeg维护者，任职于蓝汛、高升控股、金山云，编撰《FFmpeg从入门到精通》。

正文

我在社区里面经常会签收各个公司给我发过来的他们的需求、他们的问题，他们想要什么样的技术。然后我发现线上的自媒体，包括一些公司想做广告宣传片，包括主播类似网红这一类的，有的主播是两三个一起去播，他们不懂计算机技术，但他们需要协作，这种需求是很强烈的，我们就做了OnVideo。

我们投资人是爱立信的，我们正好借着其在全球的节点建设能力，做了这么一个业务。有海外的内容，可能就会涉及到敏感话题及全球的节点部署，后面再深入介绍这一块。主要是PGC和UGC的问题。

素材会聚资源隔离与过滤问题。比如说在阿拉伯当地推色情的东西，你的东西很快被干掉。

因为涉及到，资源规划也是比较关键的，后面会介绍一下。

OnVideo技术功能

我们经过调研发现用户的痛点是缺乏素材，比如说我做PPT，只有PPT的基本模板，但是没有素材。同样的，有很多人比较喜欢做视频，我没有素材怎么办？我就可以到网上去搜。所以主要是一下几个功能：

素材汇聚

国内视频素材对接与处理；国外视频素材对接与处理；非常规类网站素材处理。

素材裁剪与精编

可以在上面加字幕，用一些通道可以加音乐，视频通道里面，也可以有音频，可以静音，也可以是按需求的。这个界面的需求是源自意大利的专门做足球的一个team。里面加个转场，或者是定制一些模板，就像我们看到手机上面各种模板，放大、模糊逐渐转清晰，或者是素描，这里有横竖屏支持，如果说是一个竖屏拍的，转出来的是横屏里面的竖屏，就这么一小点，我们是做了一个处理的。你在横屏播放的时候，还是按照原来横屏的方式。

调色

即我们日常说的美颜。调色相对是比较麻烦的。

降低运营成本

好多短视频是比较在意运营成本。我录了一个视频，编辑完之后，还要一个一个传，还要传到头条上去，还要再重新传到优酷，上传也是挺慢的。接口部分，用户在这儿绑定，一下就发出去了。每个平台，验证你这个视频是否合格，是否会通过，也是有讲究的。

再就是视频的宣传，有一个接口，填一个表，自动生成。腾讯的AI是可以识别视频里面都是什么样的内容，可以抽出来一部分文字，你可以自己选。 这就是超清视频。一个是SRGAN，还有一个是SRCNN。

我们团队有9个人，其中4个人在帮爱立信建全球直播CNN的技术。还剩大概是4、5个人是非人工智能出身。所有我们考虑用到腾讯云的服务——明眸，可以找到所有的图像来处理。

全球节点部署

我们自己内部有一个设备管理。一个是大陆节点部署与规划。大陆节点非常的混乱，如果说用BGP节点，成本会很高。如果只用电信的点，联通和移动的用户怎么办？我们后来考虑到三大运营商，加上长宽，我们铺的是南北点，用户在往这些点上编辑的时候，这部分比较头疼的，用户编辑的时候，需要把视频拉过来，他不会全下载，他要拉一部分，但是拉的时候，网络比较卡，拉不动。我们有两套策略，这个用户在那儿，我们就把这个用户的视频传到那儿。比如说我在北京传的，有一天我跑到外地，需要用CDN的技术，把这个缓冲过去，变成参数再传过来，这就是用DNS调动的。

部署东南亚节点的时候，我们发现一个很有意思的问题，不是非双向的传输。从日本到中国香港到大陆传输是比较卡的。后来从中国香港到日本，再从中国香港到大陆，是不卡的。后来我们在日本做了一个节点，专门做中转的。欧美节点部署。欧洲本土还可以，但是出来的时候，就不太好了。最好的点是法国。

PGC遇到的问题是上传。国内CDN不支持上传加速。上传大文件有等待过程。跨运营商链路质量差。上传中途出现异常。我们在浏览器这边做了一个缓存，下次开机的时候，还可以接着传。兼容格式千奇百怪，非标准M3U8。avi的mp4，avi里面存H.264数据，非常见封装与编码的文件。

Metadata内容支持。流信息存于metadata中。旋转信息存于metadata中。动作信于metadata中。

拼接处理异常支持

HLS的EXT-XDISCONTINUITY问题。FLV强制拼接，直接cat拼接。

PGC与UGC业务安全

用户视频素材涉黄涉恐，这个我们是做不了的。有很多喜欢玩夜视的，晚上的时候，夜视接头都是黑白的。再就是用户视频内容踩红线。

素材汇聚与过滤

国内素材汇聚、国外素材汇聚、用户们素材汇聚、素材混用。

计算资源规划

资源覆盖的范围（欧洲、北美、东南亚、大陆）。任务调度策略（初次注册选址、热点地区）。按需去重。

未来继续。自动编排视频，自动去logo，AR支持。谢谢大家！   

QA

Q：我想问一下，MI拍（音）在转码的地位是什么样的？当我们说转码的时候，它是和什么样的模块配合完成的？

A：你可以把它理解为是你们家晾衣架的晾衣杆，但是下面有一个洞。你可以把编码器挂到那个洞上，把各个模块挂上去。把我的图象传给它，让他们给我返回一个截图。它是一个框架，什么都可以往上装。它现在不支持Opengr，如果有这个条件，你可以去做一个交互，这样就可以做任意效果的处理。