我们在对接RTSP、RTMP推拉流播放的时候，开发者提到这样的技术诉求，他们在用于安检等场景的时候，采集分辨率甚至需要4K+，帧率需要达到50帧以上，码率也非常高，这就对推流和播放模块，提出了更高的要求。
抓拍是个很重要的功能，比如在报警视频联动中需要一张实时的图片，很多SDK不提供抓拍功能，而通过预览抓图，得到的图片已不具有实时性，那如何得到实时的图片呢？现在的IPC基本上都支持ONVIF协议，ONVIF协议除了提供RTSP的URL外，其实也给出了抓拍的URL，从Media的GetSnapshotUri获取。
TSINGSEE青犀视频的流媒体播放器EasyPlayer视频播放器，可支持H.264与H.265视频编码格式，性能稳定、播放流畅，还能支持RTSP、RTMP、HLS、FLV、WebRTC等视频流播放，并且已实现网页端实时录像、在iOS上实现低延时直播等功能。目前TSINGSEE青犀视频的所有视频监控平台均使用的是EasyPlayer.js播放器，也是最受用户及开发者欢迎的一款H5流媒体播放器。
内嵌 flash 的方式必须要有浏览器支持。这样的方式已经被各大浏览器放弃，在谷歌浏览器中已经不再支持flash。本文不再说明。
一、功能特点 多线程实时播放rtsp视频流。 支持windows+linux+mac。 多线程显示图像，不卡主界面。 自动重连网络摄像头。 可设置边框大小即偏移量和边框颜色。 可设置是否绘制OSD标签即标签文本或图片和标签位置。 可设置两种OSD位置和风格。 可设置是否保存到文件以及文件名。 可播放本地视频文件，支持设置帧率。 支持h265视频流+rtmp等常见视频流。 可暂停播放和继续播放。 支持回调模式和句柄两种模式。 自动将当前播放位置和音量大小是否静音以信号发出去。 提供接口设置播放位置和音量及设置
能够接收摄像机的报警事件，比如几乎所有的摄像机后面会增加报警输入输出接口，如果用户外接了报警输入，则当触发报警以后，对应的事件也会通过onvif传出去，这样就相当于兼容了所有onvif摄像机厂家的报警事件接收，在一些应用系统中，这个功能也是很常见的。接收摄像机的报警信息一般有两种处理方式，一种是订阅，订阅以后摄像机会在请求后一直阻塞等待，如果有新的报警信息则立即返回，否则需要到超时时间才会断开连接请求；还有一种是定时器主动轮询，不断的去询问是否有新的报警事件。关于订阅要阻塞等待的问题，这就涉及到另一个问题，一般Qt默认的并发请求最大6个（貌似这玩意好多浏览器也是这个规约，不知为何这么限定，为了节约系统资源？）这就意味着订阅机制下，最大只能有6个摄像机的报警事件订阅存在，超过就不行，除非有空闲的连接请求断开了，所以很多开发者会选择用其他的http post工具比如curl去处理。
目前市面上有很多开源的流媒体服务器解决方案，常见的有SRS、EasyDarwin、ZLMediaKit和Monibuca等，我们应该怎么选择呢？
EasyNVR视频平台有windows版本和Linux版本，适应了不同用户的使用习惯。不拘泥、不受限于摄像机的品牌厂商及其配套平台，只要是网络监控摄像机IPC、硬盘录像机NVR、且设备支持标准的RTSP/Onvif协议，我们都可以接入实时视频流进入EasyNVR系统进行直播、录像、检索与回放服务。
目前我们TSINGSEE青犀视频所有的视频监控平台，集成的都是EasyPlayer.js版播放器，它属于一款高效、精炼、稳定且免费的流媒体播放器，可支持多种流媒体协议播放，包括WebSocket-FLV、HTTP-FLV，HLS（m3u8）、WebRTC等，支持全平台、全终端播放，如Windows、Linux、Android、iOS，支持H.264与H.265编码，无须安装任何插件，起播快、延迟低、兼容性强，使用非常便捷。
最开始接触视频监控这块的时候，用的就是vlc作为解码的内核，主要是因为vlc使用简单方便，直接传入一个句柄即可，简单几行代码就可以实现一个视频流播放，很适合初学者使用，也推荐初学者用qt+vlc来做播放器，提供的接口还是非常友好的，而且门类特别多，想要获取媒体文件的各种信息比如宽高，设置宽高比等，直接调用接口函数传入参数就能设置。
一、功能特点 多线程实时播放rtsp视频流。 支持X86和嵌入式linux。 多线程显示图像，不卡主界面。 自动重连网络摄像头。 可设置边框大小即偏移量和边框颜色。 可设置是否绘制OSD标签即标签文本或图片和标签位置。 可设置两种OSD位置和风格。 可设置是否保存到文件以及文件名。 可设置间隔时间段保存文件到指定目录。 可播放本地视频文件，支持设置帧率。 支持h265视频流+rtmp等常见视频流。 可暂停播放和继续播放。 支持定时存储文件,包括音频和视频。 支持sdl播放音频。 支持外部拖曳文件+拖曳节点数
近期在做一个智慧城市项目，要求将海康威视、大华等摄像头RTSP视频流在Chrome、Firefox、Edge等浏览器中播放，并且要求延迟必须要低，能到多低就多低，最好是实时视频。
EasyNVR是支持RTSP拉流协议的流媒体视频平台，同时能够将拉取的RTSP协议视频流转化为RTMP、FLV、HLS、RTSP等格式进行分发。目前支持市面上大部分的RTSP/Onvif协议设备、IP Camera/NVR/DVR/编码器等。
众所周知，RTSP流媒体直播协议是目前最成熟、应用最广泛的流媒体协议，其不仅支持直播，也支持回放，更是目前安防行业的唯一指定的标准流媒体协议，没有之一。
EasyNVR视频监控综合管理平台支持多种格式视频流的直播播放，包括HLS、FLV、RTSP等，今年我们在此基础上又开发了WebRTC格式的播放，并且将该格式拓展到其他平台，比如EasyGBS。EasyNVR中的各项功能都具有项目中实际的实用性，如果大家有兴趣可以直接下载测试。
EasyPlayer是我们流媒体组件系列中关注度较高的产品，经过多年的发展和迭代，目前已经有多个应用版本，包括RTSP版、RTMP版、Pro版，以及js版，其中js版本作为网页播放器，受到了用户的广泛使用。
很多人在用ffmpeg做视频流解码的时候，都会遇到一个问题，如何暂停，如果打开的是本地视频文件，暂停你只需要停止解码即可，但是视频流你会发现根本没用，一旦你停止了解码，下次重新解码的时候，居然还是以前的图片，他是从你最后暂停开始的地方重新解码的，这就懵逼了，为啥呢？我个人的理解是视频流这玩意，一旦你打开了，他就源源不断涌过来，你不处理，他就越来越多，你必须要读取他，从缓冲区拿走这些数据才行，所以如果想要暂停视频流，正确的做法是照常解码，只是不处理和绘制图片就行，说白了其实就是伪暂停，看起来是暂停了，其实后台还在不断的解码中。
说到直播，我们一般比较容易想到的就是rtmp的直播，大家用的比较多，实际上使用rtsp也可以做直播，这一篇就讲一下如何基于rtsp构建直播场景。为了避免混淆，先提前声明一下，之前的基于live555搭建的场景是点播的场景，而非直播。本篇我们要搭建的基于rtsp的直播环境基于EasyDarwin去搭建，非常方便快捷，一起来看一下吧。
视频中的图片的配置参数一般有亮度、饱和度、对比度、锐度等，以前一直以为这些需要通过厂家的私有协议SDK来设置才行，后面通过研究Onvif Device Manager 和 Onvif Device Test Tool 这两个onvif开发的必备工具以后，发现onvif协议也具备了修改 亮度、色彩度、饱和度这三个参数，当然这三个参数我见过的摄像机厂家（主流的十几种）都具备，还有些大厂做的设备还提供了其他详细图片参数的设置比如ICAT。
1.2 发送ANNOUNCE, 发送ANNOUNCE主要是把要推送的音视频信息通过sdp格式传给服务器。关于sdp信息如何构造，对于h264请参考rfc6184. h265请参考rfc7798. 下面举两个例子.
目前实际项目对接遇见很多平台级联过程中，视频流有类似rtsp一样的rtcp保活机制，随翻看国标GB28181-2016协议文档，查阅相关说明，现分享如下。
一般情况下，直播默认的播放方式是非按需直播，但很多情况下，不少用户会选择按需直播。按需直播能够减少带宽流量和服务器性能占用，最优的提高服务器的使用效率。
强大的网页直播/点播播放器 SkeyeWebPlayer，使用简单，功能强大， 终身免费使用，支持Windows、 Android、iOS平台。SkeyeWebPlayer.js H5播放器是由成都视开信息科技开发和维护的一个完善的RTSP、FLV、HLS等多种流媒体协议播放，视频编码支持H.264，H.265，音频支持AAC，支持TCP/UDP协议，是一套极佳的且适合用于综合安防视频云服务播放组件，已经非常稳定、完整。功能包括：直播、录像、抓图，目前在功能性、稳定性、可扩展性和完整性极强的一款H5播放器！
该功能实现，主要需要考虑RTSP取摄像头视频流，拆RTP包，组H264帧，通过PJSIP的视频通道转发；这个过程中，涉及到RTP通道保活，RTSP通道保活；调试时间多耗费在对摄像头返回的RTP数据包的拆解和重新组H264帧上面。
appro IPNC视频流直播部分用的RTSP，基于live555，通过改写wis-streamer实现的，在live555官网上有wis-streamer的代码下载，appro将其修改，在framedsource中加入了GetAVData接口，这样ipnc就可以直播了。
本文转载自JK Jung的帖子：https://jkjung-avt.github.io/tx2-camera-with-python/如果有侵犯到贴主利益，请立刻跟我联系。 在本贴中，贴主“我”分享了如何使用python 代码(及 OpenCV)在Jetson TX2上抓取和显示摄像头影像，包括IP摄像头, USB 网络摄像头和Jetson板载摄像头.这个简单代码也同样可以在Jetson TX1上运行。 1 准备工作 需要在Jetson TX2上安装 GStreamer 支持的 python和
好多开发者，问我们最多的问题是，为什么要设计轻量级RTSP服务？轻量级RTSP服务，和RTSP服务有什么区别？
大家晚上好，今天在写文章之前，先事先说明一下，以后的文章都会分成专题来进行写，这样方便大家可以查看。
EasyDarwin是基于Darwin Streaming Server扩展、维护的开源流媒体服务器解决方案，经过TSINGSEE青犀视频团队近10年的维护，现在已经非常稳定。EasyDarwin支持Windows，Linux，macOS平台，并且支持RTSP推流分配（推模式转发）和RTSP拉流分配（拉模式转发）。本文分享一下Linux系统下编译运行EasyDarwin的过程，给自主编译EasyDarwin的用户一些参考。
SRS定位是运营级的互联网直播服务器集群，追求更好的概念完整性和最简单实现的代码。SRS提供了丰富的接入方案将RTMP流接入SRS，
在WFD交互过程中，在Source端或者Sink端抓取tcpdump，通过数据包分析软件Wireshark或者Omnipeek即可以直观的分析RTSP协议交互的过程。
现在到处是摄像头的时代，随着带宽的不断提速和智能手机的普及催生出火热的网络直播行业，新冠病毒的大流行又使网络视频会议系统成为商务会议的必然选择，因此RTSP实时视频流播放及处理不再局限于安防行业。在如道路、工厂、楼宇、学校、港口、农场、景区等场景实施的信息化系统中，已基本全采用B/S架构，迫切需要在浏览器中嵌入多路摄像头RTSP流的超低延迟(小于500毫秒)播放功能，而在IE及Chrome 49以下版本等浏览器中，采用ActiveX控件或NPAPI插件即可实现。然而美好总是短暂的，从2015年开始Chrome及Firefox等浏览器纷纷取消了NPAPI插件的支持，而IE又在与Chrome及Firefox等浏览器竞争的过程中不断被用户抛弃，到现在市场份额已降到可怜的个位数。微软在几经折腾后，索性也拥抱Chromium内核推出Edge新版来杀死自己的IE，以挽救自己在浏览器这块岌岌可危的江湖地位。
EasyNVR平台优秀的视频能力在于通过RTSP/ONVIF协议，将前端接入设备的音视频资源进行采集，并转码成适合全平台、全终端分发的视频流格式，包括RTSP、RTMP、FLV、HLS、WebRTC等格式。平台可拓展性强、部署轻快，在安防监控领域有着广泛的使用场景，包括智慧工地、智慧工厂、智慧景区、智慧水利等等。
EasyCVR可拓展性强、视频能力灵活、部署轻快，可支持的主流标准协议有国标GB28181、RTSP/Onvif、RTMP等，以及支持厂家私有协议与SDK接入，包括海康Ehome、海大宇等设备的SDK等，能对外分发RTSP、RTMP、FLV、HLS、WebRTC等格式的视频流。平台基于云边端一体化架构，具有强大的数据接入、处理及分发能力。
JPG和PNG是两种常见的图片文件格式，在压缩方式、图像质量、透明效果和可编辑性等方面存在显著差异。
随着网络宽带的不断提升和智能手机的流行，RTSP实时视频流播放及处理不再局限于安防行业。在如道路、工厂、楼宇、学校、港口、农场、景区等诸多场景实施的信息化系统中，绝大多数都采用的是B/S架构，隐藏迫切需要在浏览器中嵌入多路摄像头RTSP流低延迟(小于500毫秒)播放功能，而在IE及Chrome 45以下版本等浏览器中，采用ActiveX控件或NPAPI插件即可实现。然而美好总是短暂的，从2015年开始Chrome及Firefox等浏览器纷纷取消了NPAPI插件的支持，而IE又在与Chrome
EasyCVR同时具有Windows版本和Linux版本，两个版本在使用上是没有什么区别的，只有操作系统的区别，大家可以根据自己的操作系统自由选择。在我们EasyCVR打包Linux版本时，出现source_rtsp_linux.go 文件的报错，导致无法打包。
AIGC（Artificial Intelligence Generated Content）是指利用人工智能技术生成内容的能力。火爆的虚拟数字人，就是AIGC的典型代表，它可以通过学习大量数据和知识，生成与人类创作相似甚至超越人类水平的文本、图像、音频、视频等内容。AIGC是人工智能领域发展的新里程碑，能够加速内容生产，提高创作效率，降低创作成本，为人类提供更加便捷、高效、准确的内容生成服务。
用ffmpeg来处理USB摄像头，是前段时间研究视频监控ffmpeg内核的时候搞定的，既然ffmpeg这么牛逼的库可以解析各种音视频，我想处理个本地USB摄像头应该也不是什么难事，果真搜索也是一大堆，当然主要也是因为有个项目的应用需要用到ffmpeg来处理本地USB摄像头，需要拿到每张图片做智能分析，用Qt自带的camera类不大好处理，刚好将ffmpeg的处理流程都搞清楚了，索性直接用ffmpeg来直接处理好了，用上这么强大的解码库，理论上支持各种USB摄像头。本地USB摄像机不需要硬解码，视频流编码类型为 AV_CODEC_ID_RAWVIDEO 像素格式为 AV_PIX_FMT_YUYV422 不经过解码操作直接就可显示。
《FFmpeg开发实战：从零基础到短视频上线》一书在第10章介绍了轻量级流媒体服务器MediaMTX，通过该工具可以测试RTSP/RTMP等流媒体协议的推拉流。不过MediaMTX的功能实在是太简单了，无法应用于真实直播的生产环境，真正能用于生产环境的流媒体服务器还要看SRS或者ZLMediaKit。
安防视频监控/视频集中存储/云存储/磁盘阵列EasyCVR平台可支持的主流标准协议有国标GB28181、RTSP/Onvif、RTMP等，以及支持厂家私有协议与SDK接入，包括海康Ehome、海大宇等设备的SDK等。平台可拓展性强、视频能力灵活，能对外分发RTMP、RTSP、HTTP-FLV、WebSocket-FLV、HLS、WebRTC等视频流。
wget和curl是两个常用的，基于命令行的文件传输工具软件。这两个工具很类似，但又有所不同。这两个工具都可以通过FTP、HTTP或HTTPS协议来下载内容，通过这两个工具，我们可以模拟客户端向负载均衡发送各种TCP请求，以研究负载均衡对数据包的处理方式和流程。但是，这两个工具实际上也有差别：
推荐一个比较好用的流媒体服务开源代码： ZLMediaKit: 实现RTSP/RTMP/HLS/HTTP协议的轻量级流媒体框架，支持大并发连接请求 https://gitee.com/xiahcu/Z
项目业务系统，提供一个接口地址，用于流媒体服务在播放的时候回调的接口。比如：http://192.168.2.153:8080/authstream
近期正在探索前端、后端、系统端各类常用组件与工具，对其一些常见的组件进行再次整理一下，形成标准化组件专题，后续该专题将包含各类语言中的一些常用组件。欢迎大家进行持续关注。
RTSP (Real Time Streaming Protocol)，实时流协议，是一种应用层协议，专为流媒体使用。本文将介绍 GStreamer, VLC, FFmpeg 这几个工具，如何发送、接收 RTSP 流。
我们看过了太多介绍RTSP、RTMP播放相关的技术资料，大多接口设计简约，延迟和扩展能力也受到一定的局限，好多开发者希望我们能从接口设计的角度，大概介绍下大牛直播SDK关于RTMP、RTSP播放器开发设计，本文以Windows平台RTMP、RTSP播放模块为例，大概介绍下常用的接口。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
