大家知道TSINGSEE青犀视频EasyNVR核心在于摄像机的音视频流的获取、转换、转码与高性能分发,同时同步完成对实时直播流的录像存储,在客户端(PC浏览器、Android、iOS、微信)进行录像文件的检索、回放和下载。
对于使用RTSP协议视频平台EasyNVR的用户,通常需求点就是保证视频的播放稳定性,还有就是视频流的延时问题。
作为一个网页无插件直播视频平台,TSINGSEE青犀视频各项产品可以说是行业内的积极开拓者,包括EasyNVR、EasyDSS等都已经在多个项目落地。TSINGSEE青犀视频安防视频智能监控系统支持视频直播、录像回放,同时视频流还可保存快照。
很多人在用ffmpeg做视频流解码的时候,都会遇到一个问题,如何暂停,如果打开的是本地视频文件,暂停你只需要停止解码即可,但是视频流你会发现根本没用,一旦你停止了解码,下次重新解码的时候,居然还是以前的图片,他是从你最后暂停开始的地方重新解码的,这就懵逼了,为啥呢?我个人的理解是视频流这玩意,一旦你打开了,他就源源不断涌过来,你不处理,他就越来越多,你必须要读取他,从缓冲区拿走这些数据才行,所以如果想要暂停视频流,正确的做法是照常解码,只是不处理和绘制图片就行,说白了其实就是伪暂停,看起来是暂停了,其实后台还在不断的解码中。
上一篇文章写道直接将视频流保存裸流到文件,尽管裸流文件有一定的好处,但是 毕竟大部分用户需要的不是裸流而是MP4视频文件,所以需要将视频流保存成MP4文件,毕竟电脑上的播放器包括默认的播放器,可以直接播放MP4文件,而未必能播放裸流文件,裸流文件需要安装K-Lite解码器才行,关于ffmpeg解码保存成MP4文件,有两种处理方式,一种是先保存成裸流,然后开个后台线程,当裸流文件保存完成以后,自动触发H264转MP4的命令执行,也可以很快的完成转换,另外一种方法就是直接解码的时候保存成MP4文件,两种方法都可以,一般建议后者。
一、功能特点 多线程实时播放rtsp视频流。 支持windows+linux+mac。 多线程显示图像,不卡主界面。 自动重连网络摄像头。 可设置边框大小即偏移量和边框颜色。 可设置是否绘制OSD标签即标签文本或图片和标签位置。 可设置两种OSD位置和风格。 可设置是否保存到文件以及文件名。 可播放本地视频文件,支持设置帧率。 支持h265视频流+rtmp等常见视频流。 可暂停播放和继续播放。 支持回调模式和句柄两种模式。 自动将当前播放位置和音量大小是否静音以信号发出去。 提供接口设置播放位置和音量及设置
用ffmpeg来做音视频同步,个人认为这个是ffmpeg基础处理中最难的一个,无数人就卡在这里,怎么也不准,本人也是尝试过网上各种demo,基本上都是渣渣,要么仅仅支持极其少量的视频文件比如收到的数据包是一帧视频一帧音频的,要么根本没法同步歪七八糟的,要么进度跳过去直接蹦蹦蹦崩溃的,其实最完美的音视频同步处理demo就是ffplay,我亲测过几十种各种各样的音视频本地文件,数十种视频流文件,都是非常完美,当然啦这是亲生的啦,不完美还玩个屁。
随着社会的发展和人们生活水平的不断进步,大家对环境卫生和空气质量的要求越来越重视。渣土车是建筑垃圾的运输主力,也存在行驶频繁、不合规、不合法的操作,可能对交通安全、环境卫生和城市形象造成影响。比如在施工工地,不少渣土车顶端没有密封以及没有经过冲洗,带出的大量泥土给城市道路带来了不小的污染。建筑垃圾清运是城市市容管理不可忽视的问题,因此,渣土车AI智慧管控方案应运而生。
项目业务系统,提供一个接口地址,用于流媒体服务在播放的时候回调的接口。比如:http://192.168.2.153:8080/authstream
我们之前讲到,使用我们产品的大多数项目团队都需要获取视频流或者将视频流进行分享,我们之前也为大家介绍过国标流媒体平台EasyGBS内获取视频地址的方法:国标GB28181流媒体服务器如何将视频分享到其他平台。
用ffmpeg来实现自己的播放器,这是一直以来的一个目标,之前的难点卡在音视频同步以及如何播放声音这两点(尽管之前已经进行过不少的尝试和探索,但是问题还是挺多,比如音视频同步不完美,有些文件正常而有些文件不准,声音播放采用的sdl总感觉多了个依赖怪怪的,而且很多初学者也反映希望采用Qt自身的类来播放),近期正好把这两个难点一一攻破了,音视频同步采用的外部时钟同步,声音播放采用的Qt自带的QAudioOutput(并没有采用sdl,省去学习sdl开源库的成本),播放器的demo如期进行。有时候做项目,如果将各个难点击破以后,接下来都是顺理成章水到渠成的事情,速度会非常快,这也是我经常用的策略。
掉线重连在很早很早以前就做了,基本上的方法都是搞个变量存储最后收到图片的时间,然后开个定时器判断,如果不在暂停模式下,当前时间和最后收到图片的时间差值超过了设定的超时时间,比如5s则认为掉线,然后调用close方法关闭,调用open重新打开视频流,依次重复。
最开始做的ffmpeg保存视频文件,就是直接保存的裸流数据,裸流数据一般是H264格式的数据,这种数据文件可以用部分播放器播放,由于不是标准的格式,很多播放器其实不支持的,需要安装对应的解码器才行。后面发现安装好K-Lite解码器后,连系统自带的播放器都可以正常播放H264视频流文件,而且如果同步保存了同名文件的aac音频文件放在同目录下的话,声音都能正常同步播放,可能这是播放器做的处理吧。
通过自动化脚本和图像识别技术进行启动和页面加载测试,发现要写脚本,还有截图进行自动脚本编写,调试,测试,又遇到需求测试紧急,跨度时间长,这就很难受,有没有比较快速的工具呢?想了想,刚好有了解到scrcpy是将Android图像通过视频流的方式给web展现的原理,然后又想到之前页面加载,app启动都是通过高速摄像头测试,然后结合两者一拍头脑,其实高速摄像头也是一帧一帧的图片,其实scrpcy就可以搞定,它也是通过视频流来展示的,又恰巧之前就有做了一些scrcpy的技术沉淀(这方面得益于测试团队经常会投入精力研究一些技术储备),于是测试和开发同学,开始干活修改scrcpy 客户端源码,编译,调试,然后这个工具就产生了;
FFmpeg是一个用于音视频处理的自由软件,被广泛用于音视频开发。FFmpeg功能强大,本文主要介绍如何使用FFmpeg命令行工具进行简单的视频处理。 安装FFmpeg可以在官网下载各平台软件包或者静态编译版本,也可以使用包管理工具安装。 基本概念 获得音视频信息 使用ffmpeg进行视频处理 选项 - -y / -n - -codec(-c) - -ss - -t - -to - -f - -filter / -filter_complex - -vframes - -vn - -r - -s - -a
目前实际项目对接遇见很多平台级联过程中,视频流有类似rtsp一样的rtcp保活机制,随翻看国标GB28181-2016协议文档,查阅相关说明,现分享如下。
ffmpeg -i good_scale.mp4 -i mark.png -filter_complex overlay=10:10 good_mark.mp4
TSINGSEE青犀视频的快照功能我们为大家介绍过很多次,在近几年中,我们也对快照进行了几次大大小小的优化和修改,比如EasyDSS,在最近的一次优化中,我们对定时快照数据的取出进行了简化,实现直播中直接截图生成快照。同样的,在EasyNVR中我们也优化了快照的保存机制。
奥点云的 流媒体直播服务LSS 分布式双向消息服务DMS 以及 小程序的live-player组件 (奥点云做的很差劲,有更好的平台,最好换一个)
一、功能特点 支持播放视频流和本地MP4文件。 支持句柄和回调两种模式。 多线程显示图像,不卡主界面。 自动重连网络摄像头。 可设置边框大小即偏移量和边框颜色。 可设置是否绘制OSD标签即标签文本或图片和标签位置。 可设置两种OSD位置和风格。 可设置是否保存到文件以及文件名。 可直接拖曳文件到haikangwidget控件播放。 支持h264/h265视频流。 可暂停播放和继续播放。 支持存储单个视频文件和定时存储视频文件。 自定义顶部悬浮条,发送单击信号通知,可设置是否启用。 可设置画面拉伸填充或者等比
一、功能特点 多线程实时播放rtsp视频流。 支持X86和嵌入式linux。 多线程显示图像,不卡主界面。 自动重连网络摄像头。 可设置边框大小即偏移量和边框颜色。 可设置是否绘制OSD标签即标签文本或图片和标签位置。 可设置两种OSD位置和风格。 可设置是否保存到文件以及文件名。 可设置间隔时间段保存文件到指定目录。 可播放本地视频文件,支持设置帧率。 支持h265视频流+rtmp等常见视频流。 可暂停播放和继续播放。 支持定时存储文件,包括音频和视频。 支持sdl播放音频。 支持外部拖曳文件+拖曳节点数
用mpv来读取文件的信息,以及设置当前播放进度,音量、静音等,和当时vlc封装的功能一样,只不过vlc是通过调用函数接口去处理,而mpv是通过读取和设置属性来处理,vlc支持定时器或者线程中函数方法去读取状态,也支持事件回调去拿到对应的状态改变,mpv当然也支持,而且还更方便,主要的工作量或者花费的时间在如何知道有哪些属性、分别是什么功能含义,这个在官方都列出来了(http://mpv.io/manual/master/#options、http://mpv.io/manual/master/#list-of-input-commands、http://mpv.io/manual/master/#properties),不过都是英文就是,大部分程序员应该是没有什么难度的,大不了鼠标右键翻译成中文即可,哈哈,相信不少人都这么干过,很多浏览器默认就支持鼠标右键菜单翻译的,实在是很方便的,本人在查阅很多英文文档的时候,用的也是蛮多的,包括Qt官方的文档和BUG报告页面,但是建议在搜索问题的时候还是建议尽量用英文的描述去搜索,这样才能搜索的更精确。
音视频的播放、关闭、暂停、继续这几个基本功能,绝大部分人都是信手拈来的搞定,关于音量调节还是稍微饶了下弯弯,最开始打算采用各个系统的api来处理,坐下来发现不大好,系统的支持不完美,比如有些api限定了win7,而xp确没有,而且这玩意控制的是全局的音量,不好,大部分时候需要控制的是当前播放的媒体的音量,估计vlc和mpv这类播放器在处理声音的时候也有过如此的场景分析,后面还测试过用ffmpeg的filter滤镜代码控制音频数据的分贝值,比较繁琐,代码量也大,不方便初学者学习,最后灵机一动去找QAudioOutput的函数看下有没有volume的函数,果真有卧槽,原来自带了,对Qt的爱慕之情又猛增了几十分,这里要注意的是QAudioOutput的音量值参数是0-1的范围double类型,而不是像vlc等播放器是0-100的值,所以需要自行转换。
推拉流可通过live-pusher/player自身标签赋值或者wx提供的方法进行控制,参考文档:
最终使用的是这样的结构:ffmpeg从USB免驱相机中获取视频流,然后推流到nginx服务器上。最后Qt使用WebView拉取Url中的视频流。
用mpv来做录像存储,保存视频文件,从来都没有如此的方便,直接设置属性stream-record对应的文件路径即可,我的乖乖,一行代码,如此精简美丽大方,搞得我都不敢相信自己的眼睛,mpv除了支持主流的win、linux、mac三大操作系统外,还支持手机安卓IOS等,尤其是居然支持各种嵌入式linux,记得vlc想要在嵌入式linux上交叉编译成功的话,难于上青天,各种插件的依赖实在是太多了,直到你放弃为止,在X86的linux系统还是比较方便一些的,而在这块,mpv简直是完爆vlc啊,直接命令行都可以在嵌入式linux上安装呢,内置的ffmpeg超强解码器,使得你可以直接命令行调用mpv来播放音视频,这在一些嵌入式linux上Qt无法播放音视频的场景,非常有用,本人在全志H3板子上使用的就是mpv来播放音视频,默认GPU解码使得CPU占用极地。
之前用ffmpeg解码出来了音频,只是做了存储部分,比如存储成aac文件,播放的话早期用的是sdl来播放音频,自从Qt5以后提供了QAudioOutput来播放输入的音频数据,就更加方便了,可以直接将解码好的音频数据写入就能播放了,这些就少了个学习sdl的成本,而且和Qt就更加融合,不需要额外的第三方库,解码好的视频,其实就是一张张图片数据,可以直接用QPainter绘制或者QOpenGlWidget通过GPU显示,解码好的音频用QAudioOutput播放,这对于很多初学者来说,是个很好的消息,完美。
没有人喜欢站在那里等公共汽车到达,尤其是当你需要准时到达某个地方时。如果您能预测下一班公共汽车何时到达,那不是很好吗? 今年年初,亚美尼亚开发人员 Edgar Gomtsyan 有一些空闲时间,他就对这个问题感到困惑。他没有等待政府实体实施解决方案,也没有打电话给公交车调度员确认公交车到达时间,而是开发了自己的解决方案。基于机器学习,它可以高度准确 地预测公交车到达时间。 碰巧的是,埃德加的公寓正对着公交车站所在的街道。为了跟踪公交车的进出,他在阳台上安装了一个小型安全摄像头,该摄像头使用图像识别软件。“
点击上方“LiveVideoStack”关注我们 翻译:Alex 技术审校:纪永康 本文来自OTTVerse,作者为Krishna Rao Vijayanagar。 ▲扫描图中二维码或点击阅读原文▲ 了解音视频技术大会更多信息 ---- 播放器 Easy-Tech #030# 通过m3u8播放器测试m3u8视频流和播放清单是使用HLS协议传输媒体的关键一步。这些播放器通常在网页(HTML)中,你可以去这些网站,输入你的m3u8文件(播放清单)的URL,然后按下播放键。如果一切顺利,视频将会播放;
EasyNVR是支持RTSP拉流协议的流媒体视频平台,同时能够将拉取的RTSP协议视频流转化为RTMP、FLV、HLS、RTSP等格式进行分发。目前支持市面上大部分的RTSP/Onvif协议设备、IP Camera/NVR/DVR/编码器等。
我们不仅研发了很多视频流媒体服务器,对于一些播放器的需求者,我们也有EasyPlayer的视频流媒体播放器可以选择,目前EasyPlayerPro已经支持H265视频流的播放,EasyPlayer.js能够进行网页无插件的HLS视频流播放,极大方便了开发者在解决B/S型业务开发时遇到的播放器接入问题。
关于调用海康sdk来进行录像存储,整体的框架架构处理流程沿袭了之前vlc内核、ffmpeg内核、mpv内核的做法,定时存储这块,开个定时器判断,到了时间则先关闭原来的录像存储,然后在开始一个新的录像存储,重新传入新的文件名,所以这块的代码直接拷贝过来就能使用,要做的就是替换两行代码即可,一行是开始录像存储的函数NET_DVR_SaveRealData,一行是停止录像存储的函数NET_DVR_StopSaveRealData,海康sdk的手册非常详细,而且命名也比较规范,基本上通过方法函数名字就可以知道大概的意思了,不用去猜测。
在使用libmpv的过程中,通过对mpv事件订阅,可以更准确和准时的得知一些事件,比如文件打开成功,播放状态的改变等,而不需要定时器去读取状态,尤其是打开成功这个事件,如果不采用事件订阅,有时候视频流会卡主一阵子,比如不存在的视频流或者网络不好的情况下,有两种办法可以规避这个情况,在vlc和ffmpeg解码中也是如此,一种方法是将这个打开直接放到线程中执行,本来解码处理就是一个完整的线程类,所以直接通过标志位的更改来在线程中执行初始化,毫无压力不卡主,还有一个办法就是采用事件回调,得到打开成功以后,再去执行其他的处理比如读取视频的宽度高度等信息,这些信息一般都是需要打开文件成功以后才能读取到的。
TSINGSEE青犀视频智能分析平台内一个功能是获取直播快照,比如EasyNVR视频直播中可以获取到直播快照的截图,但在实际使用中,也有用户需要获取云端录像快照。
WebRTC 技术由 Google 最先提出,目前主要在桌面版 Chrome 浏览器、桌面版 Safari 浏览器以及移动版的 Safari 浏览器上有较为完整的支持,其他平台(例如 Android 平台的浏览器)支持情况均比较差。
用ffmpeg来处理USB摄像头,是前段时间研究视频监控ffmpeg内核的时候搞定的,既然ffmpeg这么牛逼的库可以解析各种音视频,我想处理个本地USB摄像头应该也不是什么难事,果真搜索也是一大堆,当然主要也是因为有个项目的应用需要用到ffmpeg来处理本地USB摄像头,需要拿到每张图片做智能分析,用Qt自带的camera类不大好处理,刚好将ffmpeg的处理流程都搞清楚了,索性直接用ffmpeg来直接处理好了,用上这么强大的解码库,理论上支持各种USB摄像头。本地USB摄像机不需要硬解码,视频流编码类型为 AV_CODEC_ID_RAWVIDEO 像素格式为 AV_PIX_FMT_YUYV422 不经过解码操作直接就可显示。
当作为拉流端,在远端推流后即可开始拉流,为了用户体验,建议按照规范要求,在收到SDK的事件回调后开始拉流,并在控件上显示远端画面
H5无插件流媒体播放器EasyPlayer属于一款高效、精炼、稳定且免费的流媒体播放器,可支持多种流媒体协议播放,可支持H.264与H.265编码格式,性能稳定、播放流畅,能支持WebSocket-FLV、HTTP-FLV,HLS(m3u8)、WebRTC等格式的视频流,并且已实现网页端实时录像、在iOS上实现低延时直播等功能。
之前玩了vlc解码和ffmpeg解码,前阵子有个客户需要换成mpv解码,于是研究了下mpv的使用方法,自从用了mpv以后发现爱不释手,这玩意天生适合极客和程序员啊,居然将各种处理封装成了命令和属性调用,比如播放进度,你只需要读取属性time-pos即可,如果要读取音量只需要读取属性volume即可,设置音量就直接设置属性volume对应的值即可,我的乖乖,这太棒了棒极了,这不就是咱们梦寐以求的处理方式吗?你只需要封装几个通用的处理接口(读取属性mpv_get_property、设置属性mpv_set_property、执行命令mpv_command_node、设置参数mpv_set_option),就涵盖了绝大多数的功能,你说简单易用不,要的就是这种效果呢!!!
如今,各种各样的app正在取代pc端软件成为用户应用方式的首选,而在app中,用户信息注册是必不可少的环节,尤其是大型公众平台、第三方支付平台、二手车交易平台等,更是有庞大的用户群体来进行信息输入。在这样的大环境中,谁能提供更好的用户体验,谁就会在竞争中抢得先机。移动端身份证ocr识别可以集成在app中后,利用移动端摄像头拍摄证件并识别信息、完成信息录入。一般人手动录入身份证信息大约需要1分钟左右,而应用移动端身份证识别技术能将此过程提升至只需1~2秒。
2020年注定是魔幻的一年,疫情让我们更热爱生命,也让我们更珍视工作。今年的五一假期比往年多了两天,但在这个特殊的年份的特殊的劳动节中,工作和这个假期更配哦!小编在这个假期就玩了玩直播,解释一下,是腾讯云平台提供的关于一系列的视频应用场景的一些服务,很荣幸能够提前体验一把,顺便简单的做一些评测,主要从产品易用性和性能体验这两个角度做了些测试,在此记录一下。同时也感谢腾讯直播云平台的哥哥姐姐们提供宝贵机会!
用句柄来显示视频,方便是很方便,但是有个缺点就是不能拿到实时视频的每张图片的数据,这个就比较讨厌,大部分的监控行业的应用,除了截图以外,很可能需要拿到图片自己做一些处理的,而且拿到图片自己绘制的话,这个灵活性就大大增强了,比如绘制各种OSD标签,想怎么绘制就怎么绘制,想在那里绘制就在那里绘制,句柄的话还得搞个标签没有父类自动跟随移动非常讨厌,一个通道就好几个标签,32个通道那就快上百个标签了,效率蛮低的,处理方式看起来傻傻的,每次移动这每个通道都要给标签自动计算位置并move过去。
appro IPNC视频流直播部分用的RTSP,基于live555,通过改写wis-streamer实现的,在live555官网上有wis-streamer的代码下载,appro将其修改,在framedsource中加入了GetAVData接口,这样ipnc就可以直播了。
大部分的格式转换工具比如格式化工厂等,都用到了ffmpeg来处理,ffmpeg编译后生成的ffmpeg.exe、ffplay.exe、ffprobe.exe等可执行文件,其实就封装了众多牛逼的功能,ffprobe查看媒体文件头信息的工具,ffplay用于播放媒体文件的工具,尤其是ffmpeg.exe,强大的媒体文件转换工具,可以转换任何媒体文件,还可以用自己的 AudioFilter 以及 VideoFliter 进行处理和编辑,比如下面的一些功能。
海康sdk显示实时视频流除了支持句柄方式以外,也支持回调的方式拿到每一张图片自己绘制处理,当然回调除了拿到视频数据,其实音频数据也一块拿到了,自行调用音频设备播放就行,关于海康sdk回调这块,还着实折腾了一阵子才搞定,可能最开始没有参照提供的demo以及没有彻底的搜索吧,只是单单看sdk的文档折腾来折腾去的,搞了一星期居然没搞定,后面找到了正确的办法才发现,原来就差一点点一丢丢呢,这又让我联想到很多事情,包括生活中的事情,不都是如此么?当你铆足了劲,试验搞了各种办法,快要精疲力尽放弃的时候,其实此时离成功就差一步了,真的就差那么一丢丢,处理生活中的很多事情也是如此,所以很多时候如果方向对了,坚持过努力过,还不行的话,再努力一把估计就ok了。
明瞳智控ISS是腾讯云推出的一款面向视图数据提供的云存储及 AI 多模态分析一体化产品。依托腾讯云遍布全球的边缘节点,同时基于腾讯云领先的 AI 分析能力,可实现视图数据快速上云,视图数据云存储、视图数据安全、AI 智能分析等多种服务。 近日,明瞳智控进行全新升级,针对国标接入、模板配置及安全性等方面进行更新迭代,进一步降低接入及理解门槛,更加贴近业务场景,满足更多行业与客户需求。 国标协议接入 本次更新后,明瞳智控支持客户在控制台进行可视化的国标设备接入及配置,客户可更加方便的对终端设备进行接入及管理。
| 导语 随着短视频兴起,音视频技术已经越来越火热,或许你之前有了解过如何在前端处理音视频,但随着视频文件的逐渐增大、用户体验要求的不断提高,纯前端处理音视频的技术也推成出新。下面将结合实际案例,讲解如何使用 FFmpeg 和 WebAssembly 实现前端视频截帧。文章较长,也非常硬核,建议先收藏再慢慢看。 背景 腾讯课堂涨知识创作者后台,目前主要通过邀请合作老师来平台上发布视频。上传视频的同时,需要对视频进行截帧生成推荐封面,生成规则比较简单,根据视频总时长,平均截取 8 帧。用户可以从其中选择一张
安全帽识别是用深度学习的算法对监控视频进行实时分析,如果监控画面发现人员未佩戴安全帽,鹰眸系统会发出警报提醒管理员或提醒现场工作人员自觉佩戴安全帽,系统后台还会自动保存时间、地点及相应的照片。AI人工智能在智慧工地的应用越来越多,除了人脸识别之外,对作业安全也提出了更多的安全保障,例如现在逐步在应用的火焰识别,能够及时发现险情,尽早消除安全隐患。
现在到处是摄像头的时代,随着带宽的不断提速和智能手机的普及催生出火热的网络直播行业,新冠病毒的大流行又使网络视频会议系统成为商务会议的必然选择,因此RTSP实时视频流播放及处理不再局限于安防行业。在如道路、工厂、楼宇、学校、港口、农场、景区等场景实施的信息化系统中,已基本全采用B/S架构,迫切需要在浏览器中嵌入多路摄像头RTSP流的超低延迟(小于500毫秒)播放功能,而在IE及Chrome 49以下版本等浏览器中,采用ActiveX控件或NPAPI插件即可实现。然而美好总是短暂的,从2015年开始Chrome及Firefox等浏览器纷纷取消了NPAPI插件的支持,而IE又在与Chrome及Firefox等浏览器竞争的过程中不断被用户抛弃,到现在市场份额已降到可怜的个位数。微软在几经折腾后,索性也拥抱Chromium内核推出Edge新版来杀死自己的IE,以挽救自己在浏览器这块岌岌可危的江湖地位。
领取专属 10元无门槛券
手把手带您无忧上云