1、OpenGL生成纹理 2、纹理绑定到SurfaceTexture上 3、用SurfaceTexture做参数创建Surface 4、MediaCodec解码的视频就往Surface发送，就显示出画面了 Shader编写 vertex_shader.glsl attribute vec4 av_Position; attribute vec2 af_Position; varying vec2 v_texPosition; void main() { v_texPosition = af
大家好，本文是 iOS/Android 音视频开发专题 的第三篇，从本篇开始进入 Android 音视频专题实战篇。如果你对 iOS/Android 音视频开发感兴趣可通过关注本公众号 GeekDev 第一时间获取推送。
Android音视频编码分为软编和硬编两种。所谓的硬编是用设备GPU去实现编解码，从而减轻CPU的压力，让程序更加的健壮，自然而然你就知道了软编其实就是让CPU编码（其实是在c层通过c/c++进行编码，之所以这样是因为c/c++平台上已经有很多比较好的音视频编解码库。比如著名ffmpeg,搞过音视频的相信对这个库绝对不会陌生）。那么或许你心目中有一个小小的疑问？为什么要编解码了？原因就是让数据更小便于传输。编解码就好比是压缩与解压！本文是把PCM数据硬编成ACC格式数据。如果对音频的采集不熟悉，请查阅Android 音频采集。
本文实例为大家分享了Android使用MediaCodec将摄像头采集的视频编码为h264，供大家参考，具体内容如下
MediaCodec类Android提供的用于访问低层多媒体编/解码器接口，它是Android低层多媒体架构的一部分，通常与MediaExtractor、MediaMuxer、AudioTrack结合使用，能够编解码诸如H.264、H.265、AAC、3gp等常见的音视频格式。广义而言，MediaCodec的工作原理就是处理输入数据以产生输出数据。具体来说，MediaCodec在编解码的过程中使用了一组输入/输出缓存区来同步或异步处理数据：首先，客户端向获取到的编解码器输入缓存区写入要编解码的数据并将其提交给编解码器，待编解码器处理完毕后将其转存到编码器的输出缓存区，同时收回客户端对输入缓存区的所有权；然后，客户端从获取到编解码输出缓存区读取编码好的数据进行处理，待处理完毕后编解码器收回客户端对输出缓存区的所有权。不断重复整个过程，直至编码器停止工作或者异常退出。
优质短视频内容的产生依赖于短视频的采集和特效编辑，这就要求在进行抖音APP开发时，用到基础的美颜、混音、滤镜、变速、图片视频混剪、字幕等功能，在这些功能基础上，进行预处理，结合OpenGL、AI、AR技术，产生很多有趣的动态贴纸玩法，使得短视频内容更具创意。
上一篇《Android制作带悬浮窗控制的录屏程序Demo》我自己用的虚拟机是Android8的版本，后来用自己的手机无法使用，原因是在Android 10之后录屏等功能要求在前台Service中进行，所以如果你的设备是Android 10以上的 ，上一篇中的录屏就不能用了，所以这篇是专门针对Android 10录屏做的改动。
https://engineering.linkedin.com/blog/2019/litr-a-lightweight-video-audio-transcoder-for-android
一、短视频内容生产 优质短视频内容的产生依赖于短视频的采集和特效编辑，这就要求在进行短视频源码开发时，用到基础的美颜、混音、滤镜、变速、图片视频混剪、字幕等功能，在这些功能基础上，进行预处理，结合OpenGL、AI、AR技术，产生很多有趣的动态贴纸玩法，使得短视频内容更具创意。
最近开发的新版程序初版基本差不多了，所以抽空需要研究一下针对运维方便的辅助工具，其中就有需要做一个WIndows服务器可以远程控制Android客户端的工具，实现的原理大概已经有了个思路了，拆解后每个细节就需要去做技术验证，远程控制首先就需要做到看到对面的图像，预览图像就要使用录屏的功能，所以就有了这个小Demo，当然最终要做的东西是不需要保存本地视频的，这里是为了验证一下是否成功。
原文：https://engineering.linkedin.com/blog/2019/litr-a-lightweight-video-audio-transcoder-for-android
播放一个音视频文件的时候，我们知道需要经过解协议->解封装->解码音频/视频->音频/视频同步->渲染播放这几个步骤，其中解码音频/视频是整个流程中最核心的一个环节.每个步骤的详细解释可以参考上篇文章Android中如何使用OpenGL播放视频 Android平台下解码音视频可以采用软件解码如ffmpeg，或使用硬件解码如MediaCodec来实现软件解码：利用CPU进行解码处理，这种方式会加大CPU负担并增加功耗，它的优点则是具有更强的适配性；硬件解码：调用GPU的专门解码音视频的模块来处理，减少CPU运算，降低功耗．由于Android机型碎片化比较严重，硬件解码的实现又依赖于具体的厂商，所以硬件解码的适配性并不是那么友好一般而言，在Android设备支持硬解的情况下优先使用Android设备的硬件解码，减少CPU占用，降低功耗；在硬解不支持的情况下选择使用软解码，至少让音视频能正常播放. 软硬结合，才是王道->_-> 当然，本篇文章所描述的是使用硬件解码MediaCodec的方式来解码一个视频文件. MediaCodec简介 android.media.MediaCodec是从API16开始由Android提供的供开发者能更加灵活的处理音视频的编解码组件，与MediaPlayer/MediaRecorder等high-level组件相比，MediaCodec能让开发者直接处理具体的音视频数据，所以它是low-level API它通常与MediaExtractor, MediaSync, MediaMuxer, MediaCrypto, MediaDrm, Image, Surface和AudioTrack一起使用. 基本架构
音视频学习项目：LearnVideo AndroidMediaCodecDemo
说到Android的视频硬编码，很多新人首先会想到MediaRecorder，这可以说是Android早期版本视频硬编码的唯一选择。这个类的使用很简单，只需要给定一个Surface（输入）和一个File（输出），它就给你生成一个标准的mp4文件。 但越是简单的东西便意味着越难以控制，MediaRecorder的缺点很明显。相信很多人在接触到断点视频录制这个需求的时候，首先会想到使用MediaRecorder，很遗憾，这个东西并不能给你很多期待，就像一开始的我一样。 首先，MediaRecorder并没有断点录制的API，当然你可以使用一些“小技巧”，每次录制的时候，都把MediaRecorder stop掉，然后再次初始化，这样就会生成一系列的视频，最后把它们拼接起来。然而问题在于，每次初始化MediaRecorder都需要消耗很长时间，这意味着，当用户快速点击录制按钮的时候可能会出现问题。对于这个问题，你可以等到MediaRecorder初始化完成才让用户点击开始录制，但是这样往往会因为等待时间过长，导致用户体验极差。 这种情况下，一个可控的视频编码器是必须的。虽然在Android 4.4以前我们没得选择，但是在Android 4.4之后，我们有了MediaCodec，一个完全可控的视频编码器，虽然无法直接输出mp4（需要配合MediaMuxer来对音视频进行混合，最终输出mp4，或者其它封装格式）。如今的Android生态，大部分手机都已经是Android 5.0系统，完全可以使用MediaCodec来进行音视频编码的开发，而MediaRecorder则降级作为一个提高兼容性的备选方案。 废话不多说，我们直接步入正题。要想正确的使用MediaCodec，我们首先得先了解它的工作流程，关于这个，强烈大家去看一下Android文档。呃呃，相信在这个快速开发为王道的环境，没几个人会去看，所以还是在这里简单介绍一下。
Media内核是Android系统中负责音视频处理的核心模块，包括音视频采集、编解码、传输、播放等功能。Media内核源码位于Android源码树的/frameworks/av目录下，主要包括以下模块：
硬编码：使用非CPU进行编码，如显卡GPU、专用的DSP、FPGA、ASIC芯片等
本文主要介绍了如何在移动端GPU上对视频进行高效的编码与解码，通过对比多种编码方式、使用GPU对视频进行硬件加速、利用GPU对视频进行实时处理、以及对视频进行高效压缩与解码，最终实现了在移动端GPU上对视频进行高效编码与解码的解决方案。
Android的视频相关的开发，大概一直是整个Android生态，以及Android API中，最为分裂以及兼容性问题最为突出的一部分。摄像头，以及视频编码相关的API，Google一直对这方面的控制力非常差，导致不同厂商对这两个API的实现有不少差异，而且从API的设计来看，一直以来优化也相当有限，甚至有人认为这是“Android上最难用的API之一” 以微信为例，我们录制一个540p的mp4文件，对于Android来说，大体上是遵循这么一个流程： ---- ---- 大体上就是从摄像头输出的YUV帧
Android 平台提供了一套丰富的音频 API，使得开发者可以轻松地为应用添加音频播放、录制、处理等功能。这些 API 包括：
ijkplayer 是一款比较出众的开源 Android/iOS 跨平台播放器，基于 ffplay，API 易于集成，可定制编译控制体积。
Codec2是Android中多媒体相关的软件框架，是MediaCodec的中间件，往上对接MediaCodec Native层，往下提供新的API标准供芯片底层的编解码去实现，也就是说适配了Codec2，就可以通过MediaCodec来调用芯片的硬件编解码的能力，来完成一些多媒体相关的功能。这篇文章先从下到上讲解适配Codec2需要实现的接口，然后再从上到下分析MediaCodec的流程来分析这些接口是如何调用的。主要抓住以下两条主线
adb shell命令screenrecord MediaRecorder， MediaProjection MediaProjection , MediaCodec和MediaMuxer
ijklayer可以说是目前最火的一款移动端播放器了。它同时支持Android和iOS，是由著名的B站开源的播放器库，在GitHub上有15.2K的 start。
众所周知，MediaCodec 的解码能力不仅可以解码出 YUV 数据，还能直接解码到 Surface 上。
Android端的视频相关的开发，大概一直是整个Android生态，以及Android API中，最为分裂以及兼容性问题最为突出的一部分。摄像头，以及视频编码相关的API，Google一直对这方面的控制力非常差，导致不同厂商对这两个API的实现有不少差异，而且从API的设计来看，一直以来优化也相当有限，甚至有人认为这是“Android上最难用的API之一”
在去年7月发布的Android FFmpeg系列01--编译与集成一文中我们采用的是ndk r21d+FFmpeg5.0.1的版本，一年过去，FFmpeg也迭代到了6.0的版本
本文基于之前的Demo添加了FFmpeg使用MediaCodec来硬解码的方式，包括解码出buffer再利用OpenGL进行渲染上屏和直接解码到Surface然后上屏两种方式
本文将利用 FFmpeg+ MediaCodec 做一个播放器，实现视频的硬解码和音视频同步等功能。
SVideoRecorder(https://github.com/yellowcath/SVideoRecorder)使用Android原生的MediaCodec进行视频录制，对比大量使用FFmpeg进行录制的库优点如下：
随着多媒体产业的发展，手机端对视频解码性能要求越来越高。如果采用cpu进行解码，则会占用很多cpu资源。现在主流做法是利用手机gpu资源进行视频解码。
Android 从 API 16 开始提供java层的 MediaCodec 视频硬解码接口；从 API 21，也就是Android 5.0 开始提供 native 层的 MediaCodec的接口。
大家好，本文是 iOS/Android 音视频专题 的第四篇，从本篇文章开始我们将动手编写代码。代码工程将在 Github 进行托管。
自由与开源软件的理念，从不解、争议、接受到如今如火如荼，经历了长期的历程。国内开源软件起步较晚，但进展迅速。腾讯经过几年的开源协同运动，也取得了不少成绩。其中，腾讯云音视频在FFmpeg、SRS等重要多媒体开源社区的贡献，颇具代表性。 FFmpeg是音视频领域最著名的开源项目之一，被誉为多媒体领域的瑞士军刀，是众多音视频业务的基石。FFmpeg 6.0版本以代号Von Neumann在2月28号发布，这一版本包含了大量重要更新，其中就有腾讯云音视频团队贡献的众多有趣且颇具价值的特性。除FFmpeg外，腾讯云
毕业至今，之前一直从事Android开发的工作，今年5月份开始接触音视频开发相关工作，于是打算写一个音视频相关专栏，让移动端的同学，能通过这个专栏快速掌握音视频相关知识，首先带来第一篇，主要讲讲移动端的音视频技术涉及哪些？
我录屏的方式是分别录制音频和视频，最后合并成mp4格式，比较麻烦，因为网上完整的教程比较少，所以我打算写一个完整版的，照着我的代码写完之后，至少是能够实现功能的，而不是简单的介绍下用法。
MediaCodec 有两种方式触发输出关键帧，一是由配置时设置的 KEY_FRAME_RATE 和KEY_I_FRAME_INTERVAL参数自动触发，二是运行过程中通过 setParameters 手动触发输出关键帧。
通过fbo处理视频数据,通过samplerExternalOES纹理来创建SurfaceTexture,这样的话摄像头数据就和fbo相关联，具体可以看OpenGLES通过SurfaceTexture预览摄像头画面
距离今年的五一长假只有几个小时了，一般重大节日也是项目的里程碑（milestone）节点，我也赶在五一长假之前完成了中国标准 AVS2 和 AVS3 在 Chromium 浏览器上的支持工作。
1对1直播源码开发，Android获取实时屏幕画面是如何实现的呢？因为VirtualDisplay可以获取当前屏幕的视频流，创建VirtualDisplay只需通过MediaProjectionManager获取MediaProjection，然后通过MediaProjection创建VirtualDisplay即可。
参考 https://github.com/bilibili/ijkplayer 项目的编译过程 ;
大家好，本文是 iOS/Android 音视频开发专题 的第七篇，该专题中 AVPlayer 项目代码将在 Github 进行托管，你可在微信公众号（GeekDev）后台回复 资料 获取项目地址。
Android MediaCodec 解码一般有两种方式：MediaCodec ByteBuffer（MCBB）、MediaCodec Surface（MCS）。
避免延迟，对于直播来说，一直是一块比较难啃的骨头，而这块“骨头”却为移动直播源码开发凿出了一个又一个的“坑”，根据实践总结下来的经验，移动平台上视频直播的坑主要有两个方面：设备差异，以及网络环境这些场景下带来的技术考验。那么对这几个坑如何进行有效规避呢，下面我们就来具体看看。
前几天发了一篇 FFmpeg 调用 Android MediaCodec 进行硬解码 的文章，这里面的技术点不算太难，也还是调用 FFmpeg 的常用接口操作，但重点在于 FFmpeg 的版本选择以及编译选项要开启 MediaCodec 才行。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
