在前面的文章中讲述了FFmpeg的编译&集成和音视频的一些基础概念 Android FFmpeg系列01--编译与集成 Android FFmpeg系列02--音视频基础 本文为FFmpeg系列的第三篇文章...，主要内容为利用FFmpeg解码本地mp4文件的视频流并利用OpenGL进行上屏渲染 FFmpeg视频解码 一个音视频文件的播放流程大致需要经历解封装->解码->音视频同步->数据消费几个步骤，如下图所示...，要让画面正常速率显示的话就需要做时钟同步了，按照视频帧的pts来渲染这一帧 因为Demo只解码视频流上屏，所以时钟肯定就是参考系统时钟了，这里我们只是在pts比系统时钟晚的情况等待 auto pts...渲染 解码出来的AVFrame经过sws context后统一转为YUV420P格式，然后抛到java层上传纹理并渲染 OpenGL如何渲染YUV buffer可以参考之前的两篇文章，这里就不赘述～ 如何使用...OpenGL渲染YUV数据 Android中如何使用OpenGL播放视频 Demo https://github.com/sifutang/ffmpeg-demo 点击屏幕左右滑动会将视频划分为gray
以图像渲染技术为切入点便可熟练掌握图像的数据格式、渲染原理、滤镜等知识点，然后基于此再去学习 Android MediaCodec 基于 Surface 的编解码以及 Camera 开发就变得易如反掌。...Android FFmpeg 音视频开发系列 （01）FFmpeg 编译和集成 （02）FFmpeg + ANativeWindow 实现视频解码播放 （03）FFmpeg + OpenSLES 实现音频解码播放...（04）FFmpeg + OpenGLES 实现音频可视化播放 （05）FFmpeg + OpenGLES 实现视频解码播放和视频滤镜 （06）FFmpeg 播放器实现简单音视频同步的三种方式 （07...）FFmpeg + OpenGL ES 实现 3D 全景播放器 （08）FFmpeg 播放器视频渲染优化 （09）FFmpeg、x264以及fdk-aac 编译整合 （10）FFmpeg 视频录制 -...写文章就是把一些知识点融汇贯通的过程，然后拿不准的知识点就得查资料，因为如果知识点弄错了被人怼会很没面子，还有就是加深记忆，当做技术笔记。
解封装的基本过程： #include #include "libavcodec/avcodec.h" #include "libavformat/avformat.h" // MPEG-TS...mp4文件解封装得到的h264码流和aac码流都不能解码播放！...从MP4得到的H264和AAC码流是ES流，它们缺失解码时必要的起始码/SPS/PPS和adts头。
[OpenGL ES 文字渲染方式有几种？] 在音视频或 OpenGL 开发中，文字渲染是一个高频使用的功能，比如制作一些酷炫的字幕、为视频添加水印、设置特殊字体等等。...实际上 OpenGL 并没有定义渲染文字的方式，所以我们最能想到的办法是：将带有文字的图像上传到纹理，然后进行纹理贴图。 本文分别介绍下在应用层和 C++ 层常用的文字渲染方式。...[OpenGL ES 文字渲染] 基于 Canvas 绘制生成 Bitmap 在应用层实现文字渲染主要是利用 Canvas 将文本绘制成 Bitmap ，然后生成一张小图，然后在渲染的时候进行贴图。...然而每次渲染的时候都去重新加载位图显然不是高效的，我们应该将这些生成的数据储存在应用程序中，在渲染过程中再去取，重复利用。...OpenGL 纹理对应的图像默认要求 4 字节对齐，这里需要设置为 1 ，确保宽度不是 4 倍数的位图（灰度图）能够正常渲染。
mediaFormat; private MediaCodec mediaCodec; private MediaCodec.BufferInfo info; private Surface surface;//这个是OpenGL...渲染的Surface /** * 初始化MediaCodec * * @param codecName * @param width * @param height * @param csd...jniEnv->DeleteLocalRef(csd1); jniEnv->DeleteLocalRef(type); javaVM->DetachCurrentThread(); } 解码...intputBufferIndex, 0, datasize, 0, 0); } //这里拿到outputBufferIndex然后就可以获取到数据,这里会通过surface达到渲染
FFmpeg 开发系列连载： FFmpeg 开发(01)：FFmpeg 编译和集成 FFmpeg 开发(02)：FFmpeg + ANativeWindow 实现视频解码播放 FFmpeg 开发(03...FFmpeg 的解码功能和 ANativeWindow 的渲染功能，实现了的视频的解码播放。...视频解码播放和视频滤镜 1 OpenGL ES 渲染解码帧 经过上面几节的介绍，我们对音视频的解码过程已经比较熟悉了。本文要用 OpenGL 实现视频的渲染，这里再回顾下视频的解码流程： ?...视频的解码流程 从流程图中可以看出，解码一帧图像后，首先将对图像进行格式转换，转换成 RGBA 格式，使用 OpenGL 或 ANativeWindow 可以直接进行渲染。...了解视频解码到渲染的流程之后，我们就可以构建 OpenGL 渲染环境。
音频解码就是将mp3 aac等格式这些文件解析为pcm格式的过程。...和视频解码流程一样，只是有些函数不一样 #include "lang.h"; #include //封装格式 //解码 #include "log.h" extern "C" {...注册 av_register_all(); //2.打开解码器 <-- 拿到解码器 <-- 拿到id <-- 拿到stream和拿到AVCodecContext <-- 拿到AVFormatContext...{ LOGE("打开解码器失败!")...解码 将解码数据封装在AVFrame <-- 拿到编码的数据AVPacket <-- 读取数据源 <-- 解码文件参数设置 //3.1 AVPacket初始化 AVPacket *
IDR帧 可以独立解码的帧，idr一定是i帧，但i帧不一定是idr帧，可能缺少解码的关键信息 gop gop/frame_rate = 多少秒钟出现一次关键帧 poc picture order count...图像显示顺序，解码不是顺序解码的 参考：https://blog.csdn.net/xietingcandice/article/details/39502739 SPS、PPS h264由NALU...组成的，NALU分为VCL(视频编码层)和 NAL(网络提取层)两层 idr frame（idr帧）数据中包含sps和pps，sps、pps对解码起关键性作用，sps、pps错误可能导致 ?...参考帧队列重排，最后查出是因为发送和接收数据不一致导致的，ffmpeg有容错机制，错误的数据跳过了，最后还是生成了mp4文件，但是缺少一些信息，解码的时候会出现问题 ?
-解码音频（三） https://xiaolong.blog.csdn.net/article/details/126836582 QT软件开发-基于FFMPEG设计视频播放器-OpenGL渲染视频（...特点： 采用硬件加速解码（GPU），OpenGL渲染、只解码图像数据，忽略音频数据，主要是演示了ffmpeg的硬件解码和OpenGL渲染的基本使用流程。...特点： 采用硬件加速解码（GPU），OpenGL渲染、只解码图像数据，忽略音频数据，主要是演示了ffmpeg的硬件解码和OpenGL渲染的基本使用流程。...特点： 采用硬件加速解码（GPU），OpenGL渲染、只解码图像数据，忽略音频数据，主要是演示了ffmpeg的硬件解码和OpenGL渲染的基本使用流程，通过QAudioOutput播放音频数据的流程。...2.2 渲染 ffmpeg本身只是解码、编码的库，解码出来的图像渲染要自己实现。所谓的渲染就是显示ffmpeg解码视频之后得到的图片数据。 渲染也分为软件渲染、硬件加速渲染。
解码流程: 获取文件信息,数据存储在AVFormatContext里面 根据AVFormatContext获取对应的AVCodecContext 解码原始数据AVPacket，解码为自己需要的数据AVFrame...解码器获取 //5.1 根据video_index获取解码器上下文AVCodecContext pCodecCtxOrg = pFormatCtx->streams[video_index...打开解码器 if (avcodec_open2(pCodecCtx, pCodec, NULL) < 0) { LOGE ("打开解码器失败"); return;...总结: 要解码，我们需要获取解码器AVCodec,解码器我们需要通过codec_id获取，codec_id我们需要通过AVStream获取，AVStream我们需要通过AVCodecContext获取，...AVCodecContext我们要根据AVFormatContext获取,解码的时候我们要通过AVFormatContext读取，解码数据存储在AVFrame里面,编码数据存储在AVPacket里面。
二、使用OpenGL渲染视频画面篇 1，初步了解OpenGL ES 2，使用OpenGL渲染视频画面 3，OpenGL渲染多视频，实现画中画 4，深入了解OpenGL之EGL 5，OpenGL FBO...数据缓冲区 6，Android音视频硬编码：生成一个MP4 三、Android FFmpeg音视频解码篇 1，FFmpeg so库编译 2，Android 引入FFmpeg 3，Android FFmpeg...视频解码播放 4，Android FFmpeg＋OpenSL ES音频解码播放 5，Android FFmpeg＋OpenGL ES播放视频 6，Android FFmpeg简单合成MP4：视屏解封与重新封装...7，Android FFmpeg视频编码 本文你可以了解到 利用 FFmpeg 对音视频进行简单的解封和重新封装，不涉及解码和编码，为下一篇讲解如何对编辑好的视频进行重编码和封装做好铺垫。...一、前言 前面的文章中，对 FFmpg 视频的解码，以及如何利用 OpenGL 对视频进行编辑和渲染，做了详细的讲解，接来非常重要的，就是对编辑好的视频进行编码和保存。
FFmpeg使用avfilter来处理解码后的帧，做全流程的GPU处理实际就是要实现若干FFmpeg GPU filter。...理想情况，做两个filter就够了，TensorRT filter用于推理，OpenGL filter用于渲染，硬件编解码是现成的。 但实际上这样是不行的，为什么呢？...设置的过程就是一个入栈的过程，接口叫做cuCtxPushCurrent，可将当前的CUDA context给push到线程中，即入栈，然后就可以使用了。...刚才提到，我们既要推理又要渲染，渲染取决于推理的结果，因此我们需要用OpenGL在GPU解码的图片帧上进行绘制，那么就需要OpenGL可以访问到CUDA memory。...除了一些必须要同步的命令以外，OpenGL的渲染命令在GPU上基本也是异步的。GPU视频的编码和解码也基本上是异步的。
这个笔记的主要内容是，使用硬编和软编的方式解决Android视频编解码的问题（后续会支持解码），并且使用OpenGL实现滤镜渲染，包括美颜，水印等等。 ...，一组OpenGL连接本地窗口的接口，主要通过Surface向窗口绘制帧画面，以及给MediaCodec提供帧数据） FBO（帧缓冲区，这里主要用于离屏渲染以及特效） PBO（像素缓冲区对象，可以高效读取...可能有人有疑问，软编解码首选的不是大名鼎鼎的ffmpeg吗，为什么直接使用x264。...大家都知道ffmpeg其实就是在众多编解码器上套个壳子，再集成一个混合器，虽然功能众多，但是却很臃肿（当然已经很出色了），以至于我来了来来回回学习了4+次也没有掌握。...对于编解码常常用到的颜色格式（ColorFormat）转换，ffmpeg提供了swscale，功能虽然很强大，但效率不敢恭维，完全可以使用google的libyuv替代。
这个笔记的主要内容是，使用硬编和软编的方式解决Android视频编解码的问题（后续会支持解码），并且使用OpenGL实现滤镜渲染，包括美颜，水印等等。 ...，可以很方便的与OpenGL联动，也是TextureView提供的渲染接口） MediaCodec（硬编解决方案） X264（软编解决方案） MediaMuxer（音视频混合器） 以上内容我会选一部分在接下来的时间里详细展开...可能有人有疑问，软编解码首选的不是大名鼎鼎的ffmpeg吗，为什么直接使用x264。...大家都知道ffmpeg其实就是在众多编解码器上套个壳子，再集成一个混合器，虽然功能众多，但是却很臃肿（当然已经很出色了），以至于我来了来来回回学习了4+次也没有掌握。...对于编解码常常用到的颜色格式（ColorFormat）转换，ffmpeg提供了swscale，功能虽然很强大，但效率不敢恭维，完全可以使用google的libyuv替代。
OpenGL（七）- 渲染技巧：颜色混合 我们都知道颜色缓存区和深度缓冲区原理一致，在同一个位置上只能保存一个值。那么我们常见的透明图层相互之间的影响又是为什么呢？...当然OpenGL也考虑到了这一点： void RenderScene(void){ //1.清空颜色缓存区 glClear(GL_COLOR_BUFFER_BIT) //2.开启混合...API中进行计算时根据公式： Cf = (Cs * S) + (Cd * D) Cf表示： 计算后的最终颜色 Cs表示： 源颜色，也就是渲染命令中后传入的颜色 S表示： 源混合因子 Cd表示：...之和渲染的先后有关。 D表示： 目标混合因子 对应上方公式开发者能操作的其实只有S、D这两个混合因子，下图是API中两个参数的参数表。 ?
FFmpeg的编解码API 从3.1版本开始，FFmpeg提供了新的编解码API来对音视频数据进行编解码操作，从而实现对输入和输出的解耦： 解码API avcodec_send_packet() avcodec_receive_frame...我们的工具中，在流结束之后，并没有执行flushing操作，因此就出现了解码过程丢帧的现象。按照FFmpeg的指导，我们补充了如下的逻辑，以便获取解码器中缓存的帧。...FFMPeg 解码 API 状态机 avcodec_send_packet返回值 从FFmpeg的源码中，我们会发现，正常情况下，avcodec_send_packet()函数的返回值主要有以下三种：...对API的调用实际上是一种动作，而API的返回值则用来标志当前解码器的状态。因此，解码API的整个过程实际上就是一个状态机。...根据avcodec_send_packet返回值和avcodec_receive_frame返回值中的介绍，可以得到正常情况下，解码过程的状态机，如下图所示。
在OpenGL ES 基础原理中，我们只是对顶点做了简单的填充设置，现在我们继续对片段着色器中的颜色做自定义。...渲染模式 // 渲染 GLES20.glDrawArrays(GLES20.GL_TRIANGLES, 0, mVertexData.size / VERTEX_DIMENSION_SIZE) GL_TRIANGLES...是三角形渲染的一种方式，一共有三种。...对应的我们就能发现，如果绘制相同的图形GL_TRIANGLE_STRIP所要加载的顶点数会更少，这样在OpenGL绘制的过程中占用的内存也就越低，所以也就更有效。...OpenGL ES 系列 Android OpenGL ES 基础原理
一、文本渲染原理 1.1经典文本渲染：位图字体 ?...早期的文本渲染，是将需要的字符集放到一个大纹理中，这个纹理称为“位图字体”，渲染某个字符时，通过查找坐标，找到该字符对应的区域并渲染出来，再启动混合，让字符纹理的背景保持透明，非常容易理解。...二、基于freetype渲染文本 ?...文本渲染 ?..., GLFW_OPENGL_CORE_PROFILE); #ifdef __APPLE__ glfwWindowHint(GLFW_OPENGL_FORWARD_COMPAT, GL_TRUE
在 OpenGL 中，对应的着色器语言是 GLSL（OpenGL Shading Language）。通过 shader 编程，我们可以实现很多渲染风格，如马赛克效果、素描风格等。...2、OpenGL 图形渲染流程 当我们使用 OpenGL 时，都是基于 3D 空间去编程的，但是最终呈现到屏幕或者窗口时却是二维的像素数组，所以简单来说 OpenGL 的渲染流程其实就是将 3D 坐标转换成适配屏幕的...2D 像素，而这个过程实际上是由 OpenGL 的图形渲染管线管理的，大致可以划分成两步： 将 3D 坐标转换成 2D 坐标。...片段着色器也是我们能够在图形渲染过程中进行编程的一个阶段。 2.6....3、参考文章 卡通渲染（上） 光栅化阶段：三角形设置、三角形遍历、像素着色、合并 OpenGL - 渲染流程 透明度测试和透明度混合 紧追技术前沿，深挖专业领域 扫码关注我们吧！
ffmpeg中已经实现了使用dxva加速解码部分代码。但是要整合在自己的播放器中dxva相关管理代码没有实现。 以下笔者带大家去实现一个基于dxva的加速解码器。...一：ffmpeg中实现的dxva解码相关代码介绍 ffmpeg已经实现了h264 h263 mpeg2 wmv3解码的相关代码。...end_frame = end_frame, .priv_data_size = sizeof(struct dxva2_picture_context), }; 阅读上述代码，咱们会发现，解码器使用到的...对阵硬解解码的环境变量赋值定义好了方式 if(is->iUseDxva) { pCodecCtx->get_buffer = DxGetFrameBuf; pCodecCtx->reget_buffer...D3DXSaveSurfaceToFile = (void *)GetProcAddress(hdll,TEXT("D3DXSaveSurfaceToFileA")); } 以下为dxva2硬解与ffmpeg
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
