ffmpeg主要用于音视频转码，以及增删水印等处理，是一款简单实用且强大的音视频处理工具。
在gstreamer开发中，关键是要知道命令行实现，如果命令验证没有问题，再将命令集成代码工程化，或者找找对应的API来实现。本文总结工作常用命令行实现(测试环境windows)。
本文是AVB系列文章的第三篇，主要介绍AVB协议族中的音视频传输协议AVTP(IEEE Std 1722-2016)。
我们在开发网络程序时经常用到UDP或RTP来发送和接收流媒体，而开发程序完毕需要搭建一个环境测试，这时候可能你需要一个推流端或接收端。对于推流端，我们可以借助FFmpeg工具轻松完成该功能，只需要敲一条命令后就可以实现发流，并且支持多种网络协议（UDP/RTP/RTSP/RTMP）。而接收端我们可以使用ffplay，这个程序也是在FFmpeg工具包的Bin目录里面。大家可以根据自己需要使用这两个工具进行推流或接收，下面就以传输协议UDP、RTP为基础，介绍几种最常见的推流场景下两个工具的用法。
T和ISO/IEC两大组织联合提出的视频编解码标准，这个标准通常被称之为H.264/AVC。H264编码是一种主流编码方式，本文主要从数据处理的角度对H264视频码流进行分析。
在gstreamer开发中，一般开发思路为：寻找命令行实现----命令行验证-----将命令行集成到代码中-----代码工程化。当然如果你要代码更优雅一点，可以用命令行用对应的API来实现，本节来总结一下gstreamer开发中场景常用的工具。
在视频编码中，延迟是一个常见的问题。对于实时性要求较高的应用（如视频直播、视频会议等），延迟问题尤为重要。本文将重点讲解FFmpeg中H264和H265编码器的延迟问题，以及如何优化和降低编码延迟。
首先，为什么要用NDK来做，因为自己之前就已经实现过RTMP推流、RTMP播放、RTSP转码等等各种c++实现的流媒体项目，有很成熟的代码模块。既然Android有NDK，可以JNI的方式复用之前的成熟代码，大大拓展和加快项目实现，那为什么不这样去做呢。和其他平台一样，要实现采集摄像头推送直播流，需要实现以下几点
H264视频在分组网络中传输丢包不可避免，尤其在网络环境不好时传输h264码流，丢包会导致解码端花屏，马赛克严重，这方面的前沿技术是 FEC, NACK, 前者是 前向纠错技术，后者是重传，二者结合能很好的解决丢包引起的视觉效果，这东西一般小厂家都没有，如果想丢包时即使让画面停顿，也不要花屏，我想的最直接的办法是：一旦发现丢包，在下一个I帧到来之前，所有过来的包都丢掉，所以一旦发现丢包，做个标记，然后开始判断收到的rtp包是不是264 i帧， i帧的判断方法参考：
其中H265的编码格式压缩水平更加大，所以目前常用的IPC和NVR设备都是使用H265编码格式。
接上一篇[SkeyePlayer源码解析系列之录像写MP4]之续篇，我们来讲解一下关于H264编码格式中的一帧多nal(Network Abstract Layer, 即网络抽象层)，关于H264和NAL，这里引用一段话来科普一下：
实现了浏览器 MSE (Media Source Extensions) 播放相机 RTSP (Real Time Streaming Protocol) 流。动手体验一下咯~
FuboTV 是一家美国流媒体电视服务公司，为美国、加拿大和西班牙的客户提供服务，主要专注于分发体育直播的频道。根据国家/地区的不同，Fubo 提供的频道可能包括访问 NFL、MLB、NBA、NHL、MLS、CPL 和国际足球，以及新闻、网络电视连续剧和电影。
如果大家有不懂的可以看我之前的文章：Android音视频开发——MedCodec实现屏幕录制编码成H264
我们的流媒体服务器可以输出三种格式的视频流，Http-Flv 就是 http+flv ，将音视频数据封装成FLV格式，然后通过 HTTP 协议传输给客户端。相较于 RTMP 协议，HTTP-FLV 能够好的穿透防火墙，它是基于 HTTP/80 传输，有效避免被防火墙拦截。那么本篇的问题就来了，http-flv是如何直播的？
在日常的音视频开发中，我们经常使用FFmpeg，因为它确实好用呀，囊括了各种功能！但是有个很严重的问题，如果是编译在Android和IOS上使用，会造成APP的包很大。可以看我编译的FFmpeg在Android上的应用程式。
《FFmpeg开发实战：从零基础到短视频上线》一书的“3.4.3 把原始的H264文件封装为MP4格式”介绍了如何把H.264裸流封装为MP4文件。那么在网络上传输的H.264裸流是怎样被接收端获取视频格式的呢？前文指出H.264流必定以“SPS帧→PPS帧→IDR帧”开头，接下来就来验证是否确实如此。
最近研究了通过OpenCV采集摄像头数据，并同时将视频流数据推送到RTSP和RTMP。
注：参考自bilibili系列视频，从0开始做播放器-第6章-图像编码的基础概念（理论课）https://www.bilibili.com/video/BV1PK41157jz
视频编解码硬件方案最早是在嵌入式领域中广泛存在，如采用DSP,FPGA，ASIC等，用来弥补嵌入式系统CPU等资源能力不足问题，但随着视频分辨率越来越高（从CIF经历720P，1080P发展到4K，8K），编码算法越来越复杂（从mpeg2经历h264,发展到h265）,PC的软件规模也越来越庞大，视频应用也越来也丰富，单独靠CPU来编解码已经显得勉为其难，一种集成在显卡中gpu用来参与编解码工作已经成为主流。
常用的文件分辨率有 320*240 640*480 800*600 1280*720 1920x1080
在Webrtc的编码中有三种编码方式：VP8、VP9和H264编码，这三种编码大部分浏览器都支持，其中VP8是目前为止浏览器内部使用最多的一个编码方式。浏览器使用的推流编码是VP8，所以传输的是VP8，想要在c++端编码出H264，那要怎么做呢？在编译Webrtc的相关产品中，我们就遇到了此类问题，所以和大家分享一下。
1 MP4封装格式对应标准为 ISO/IEC 14496-12（信息技术 视听对象编码的第12部分: ISO 基本媒体文件格式/Information technology Coding of audio-visual objects Part 12: ISO base media file format）
前一篇《webrtc方案漫谈》我们分析了webrtc的方案特点，根据实际的应用场景我们需要对webrtc native代码进行定制开发，下面对webrtc常规需求进行定制。
H264视频压缩算法现在无疑是所有视频压缩技术中使用最广泛，最流行的。随着 x264/openh264以及ffmpeg等开源库的推出，大多数使用者无需再对H264的细节做过多的研究，这大降低了人们使用H264的成本。
TSINGSEE青犀视频研发团队的成果包含了视频相关的很多内容，有视频流媒体平台EasyNVR、EasyGBS、EasyDSS，有视频智能分析平台EasyCVR，有H265视频播放器EasyWasmPlayer及各种专用直播流播放器，还有视频组件及推流辅助设备等，其中视频流媒体平台内就结合了最新的H265播放器EasyWasmPlayer。
H.264从1999年开始，到2003年形成草案，最后在2007年定稿有待核实。在ITU的标准⾥称为H.264，在MPEG的标准⾥是MPEG-4的⼀个组成部分–MPEG-4 Part 10，⼜叫Advanced Video Codec，因此常常称为MPEG-4 AVC或直接叫AVC。
本文分析了Google WebRTC 视频组帧的相关源码，给出了视频组帧的处理流程分析，为避免文章内容过多，文中对于关键函数的分析仅给出关键内容的说明，没有贴完整的源代码。文中所分析内容均基于WebRTC M86版本。
ffmpeg -i mp4_sample.mp4 -vcodec copy -an -bsf:v h264_mp4toannexb raw.h264
首先，我们来看看I帧的PS流格式，这里需要注意的是SPS、PPS之前要加上PES头部。如下图所示，其中绿色部分就是我们拿到的H.264裸流数据，须将它拆分成三段并在前面加上PES头部。这一点在GB28181标准中没有细说，需要通过分析海康IPC流才能看出。
FFmpeg是音视频领域很有名的一个库, 这里从两方面介绍, 一方面根据FFMPEG的命令行工具介绍, 介绍这些命令行工具的使用方法, 满足一般用户要求. 还有一方面从组件/库的划分来介绍, 介绍FFMPEG是有哪些组件和库组成, 每一个库的作用, 便于后续的自定义开发.
在绝大多数的目标检测项目中，都是使用opencv这个开源的计算机视觉库来进行图片、视频或者摄像头的读写。
对于720P分辨率，深度为8的一幅图片的数据量为：1280*720*8(位)，如果视频帧率为15，那一秒钟的数据量为：
h265编码是h264编码的升级版，h265目前在视频点播方面使用的更加普遍，而在视频直播方面，由于难以达到h265编码的解码速度，运用起来还是有些难度的，还需要看未来我们的流媒体技术的发展。那么既然出现了更加先进的编码技术，大家肯定会问了，h264与h265哪个更清晰？哪个画质好？本文我们就是来回答这个问题的。
音视频编码的标准由标准发展组织制定，主要两大组织：ISO（国际标准化组织和国际电工委员会）和ITU-T（国际电信联盟的电信标准化部门）
大家好，今天给大家分享一个系列文章,是关于h264解码器的，实战性比较多，文章里面就不会过多介绍关于h264的相关基础知识了。
iOS中编码视频数据,一般情况而言一个项目仅需要一个编码器,不过有时特殊需求可能需要两个编码器同时工作.本例中实现了编码器类.仅通过指定不同编码器的枚举值就可以快速生成需要的编码器,且支持两个编码器一起工作.
转自：http://www.mworkbox.com/wp/work/314.html
format，这个是官方h264协议文档中规定的格式，所以它是大多数编码器默认的编码后的输出格式。它的基本数据单位为NAL单元，简称NALU`（Network
视频转码服务，具备将高码率的视频转换为低码率的视频，和对不同编码格式的视频进行转换能力的后台服务；
本篇介绍下H264和H264的编码格式，包括avcc，annexb，以及转换方法。annexb 用于实时流的场景，avcc用于多媒体文件，如mp4,mkv等场景。
H.264和H.265是两种不同的视频编码标准，它们在压缩质量和带宽需求方面有所不同。
H.264，同时也是MPEG-4第十部分，是由ITU-T视频编码专家组（VCEG）和ISO/IEC动态图像专家组（MPEG）联合组成的联合视频组（JVT，Joint Video Team）提出的高度压缩数字视频编解码器标准。这个标准通常被称之为H.264/AVC（或者AVC/H.264或者H.264/MPEG-4 AVC或MPEG-4/H.264 AVC）而明确的说明它两方面的开发者。
在写代码的过程中，经常需要利用ffmpeg进行h264编解码，ffmpeg默认是不支持h264编解码的，需要在编译ffmpeg时增加支持h264编解码功能模块。
RTMP（Real Time Messaging Protocol）是专门用来传输音视频数据的流媒体协议，最初由Macromedia 公司创建，后来归Adobe公司所有，是一种私有协议，主要用来联系Flash Player和RtmpServer，如FMS, Red5, crtmpserver等。RTMP协议可用于实现直播、点播应用，通过FMLE（Flash Media Live Encoder）推送音视频数据至RtmpServer，可实现摄像头实时直播。不过，毕竟FMLE应用范围有限，想要把它嵌入到自己的程序中，还是要自己来实现RTMP协议的推送。本人实现了一个RTMPLiveEncoder，通过采集摄像头视频和麦克风音频，并进行H.264和AAC编码，然后发送到FMS和crtmpserver上，实现实时直播，可以通过flash player正常观看，目前效果良好，延迟时间在2秒左右。本文就介绍一下RTMPLiveEncoder的主要思路和关键点，以期对需要这方面技术的朋友有所帮助。
原文:http://www.mworkbox.com/wp/work/314.html MP4的视频H264封装有2种格式：h264和avc1，对于这个细节，很容易被忽略。笔者也是在改编LIVE555流媒体时，增加mp4文件类型支持时遇到了该问题。 (一)首先，从原理上了解一下这2种格式的区别： AVC1 描述:H.264 bitstream without start codes.一般通过ffmpeg转码生成的视频，是不带起始码0×00000001的。 H264 描述:H.264 bitstream with start codes.一般对于一下HDVD等电影的压制格式，是带有起始码0×00000001的。 (二)其次，通过VLC播放器，可以查看到具体的格式。打开视频后，通过菜单【工具】/【编解码信息】可以查看到【编解码器】具体格式，举例如下，编解码器信息： 编码: H264 – MPEG-4 AVC (part 10) (avc1) 编码: H264 – MPEG-4 AVC (part 10) (h264) (三)最后，分享一下ffmpeg demux MP4文件后，转换视频流为live555可直接使用的h264 ES流的经验和方法： 针对（avc1），av_read_frame后，取前四个字节为长度，把前四字节直接替换为0×00,0×00,0×00,0×01即可，但注意每个frame可以有多个NAUL：
网络视频一直都很火。虽然在页面上嵌入 Instagram 和 Youtube 视频非常简单，但是有越来越多的需求 —— 比如许多电子商务的场景 —— 要求定制的视频传输方法。
C++实现RTMP协议发送H.264编码及AAC编码的音视频 RTMP（Real Time Messaging Protocol）是专门用来传输音视频数据的流媒体协议，最初由Macromedia 公司创建，后来归Adobe公司所有，是一种私有协议，主要用来联系Flash Player和RtmpServer，如FMS, Red5, crtmpserver等。RTMP协议可用于实现直播、点播应用，通过FMLE（Flash Media Live Encoder）推送音视频数据至RtmpServer，可实现摄像
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
