这个公众号会路线图式的遍历分享音视频技术：音视频基础 → 音视频工具 → 音视频工程示例 → 音视频工业实战。关注一下成本不高，错过干货损失不小 ↓↓↓
在第二章中，我们通过一个Camera SurfaceTexture纹理，把摄像头数据绘制到这个纹理上，同时TextureView的SurfaceTexture纹理通过id与第一个纹理关联起来，从而把摄像头画面直接绘制到屏幕上。 对OpenGL有一定了解的人可能会知道，要使用OpenGL渲染各种好看的特效，FBO必不可少。通过FBO，我们可以先把摄像头数据绘制到Camera SurfaceTexture纹理上，然后把这个纹理数据再绘制到一个离屏的FBO，我们可以在这个FBO上做各种特效处理，处理完之后再把离屏FBO中的数据绘制到TextureView的SurfaceTexture纹理，也就是手机屏幕上。
众所周知，由于iOS系统的封闭性，也出于保护用户隐私的角度，苹果并没有公开的API供开发者调用，来录制屏幕内容。导致许多游戏或者应用没有办法直接通过调用系统API的方式提供录制功能，用户也无法将自己一些玩游戏的过程录制下来分享到其他玩家。基于此，ShareREC应运而生。下面我们从说一下ShareREC的录屏的实现原理。
摄像头通话功能，是TRTCSDK对系统摄像头进行了封装，采集摄像头数据，编码传输通话。
上一篇文章，讲解了如何使用EGL，并且提到EGL可以建立一个离屏渲染的缓冲区，这种离屏渲染的方式通常用于模拟整个渲染窗口，比如可以用于FFmpeg软编码，将显示在虚拟窗口中的画面编码成H264。
一般来说，我们在使用 OpenGL 的时候，指令不是立即执行的。它们首先被送到指令缓冲区，然后才被送到硬件执行。glFinish 和 glFlush 都是强制将命令缓冲区的内容提交给硬件执行。
OpenGL 的上下文（OpenGL context）是一个 OpenGL 绘图环境的抽象概念，它包括了所有 OpenGL 状态信息和资源，以便OpenGL能够正确地渲染图形。
帧缓冲(Framebuffer Object)，简称 FBO，在渲染绘制中， 图像最终都是绘制到 FBO 上的，一般都是默认的 FBO 上，也就是我们的屏幕。
一、添加目标纹理为 FBO 的颜色附着（颜色缓冲区） ，绑定源纹理渲染到目标纹理。
OpenGL ES 多目标渲染（MRT），即多重渲染目标，是 OpenGL ES 3.0 新特性，它允许应用程序一次渲染到多个缓冲区。
通常我们通过 AVCaptureSession 相关的 API 来进行音视频的采集，其中主要组件分为 Input、Output、Session 几个部分：
文首先对GLSurfaceView相关知识进行讲解，然后介绍Android系统如何获取摄像头数据并利用GLSurfaceView渲染到屏幕上。
OpenGL ES作为移动设备的主要图形API，是客户端调用GPU的主要入口，不管是做游戏还是音视频，都给我们提供了强大的支持。 而在音视频领域，相信不少同学都有从FBO读取像素数据的需求，熟悉OpenGL ES的童鞋应该首先想到了glReadPixels，而了解更为深入的童鞋相信都会使用更为高效的PBO。 在Android平台上，PBO是从FBO读取像素数据最高效的的方法吗。显然不是，否则这篇文章就没有意义了。下面我们来盘点Android下有哪些从FBO读取像素数据的方式，以及最高效的方式。
glReadPixels 是 OpenGL ES 的 API ，OpenGL ES 2.0 和 3.0 均支持。使用非常方便，下面一行代码即可搞定，但是效率很低。
既然是学习音视频技术，那必然少不了渲染这个环节，OpenGL就是进行图形渲染的一个重要角色。
博主作为OpenGL新手，最近要用OpenGL进行并行的数据计算，突然发现这样的资料还是很少的，大部分资料和参考书都是讲用OpenGL进行渲染的。好不容易找到一本书《GPGPU编程技术，从OpenGL、CUDA到OpenCL》,里面对并行处理的发展进行了系统性的介绍，还是很不错的。小白博主很兴奋，看完书中第三章后恍然大悟了很多，就贴出书中代码3-3的例子，实现一番，并用一副图片数据做了实现。 实现环境：Window7 32bit， VS2013+OpenGL3.3+GLEW+GLFW。 OpenGL用来进行
比如美颜相机那些，处理摄像头数据展示出来，为了提高预览的效率，所以这里使用了VBO和FBO,如果不知道这个，请看上面的文章。
分享 这系列收集OpenGL ES的应用。 iOS开发-OpenGLES画图应用 这篇介绍的3D魔方(原文地址)，重点是魔方的旋转与点击的判断。 效果展示 概念准备 拾取 把地形的位置坐标编码到片元
其实这一两年关于Android 平台的视频编解码学习资料已经很多了，包括书籍和网上的一些公开教程。书籍讲得详细一点，所以推荐大家去买些书籍看看。而网上的资料的话，大多是零星点点，新手学习起来并不是很轻松，包括我。所以这也是促使本人对这一块知识做记录的原因。 我打算开几个章节来分享一下相关的知识点，因为想详细展开，内容可能有点多，也算是做一些个人笔记。
FBO Frame Buffer object 为什么要用FBO 我们需要对纹理进行多次渲染采样时，而这些渲染采样是不需要展示给用户看的，所以我们就可以用一个单独的缓冲对象（离屏渲染）来存储我们的这
OpenGL一次渲染过程包含了多个阶段，包括顶点着色器、图元组装、栅格化、片元着色器、测试和混合等，最后将结果输出的FrameBuffer上。
VBO（Vertex Buffer Object）是指顶点缓冲区对象，而 EBO（Element Buffer Object）是指图元索引缓冲区对象，VBO 和 EBO 实际上是对同一类 Buffer 按照用途的不同称呼。
VBO（Vertex Buffer Object）是指顶点缓冲区对象，而 EBO（Element Buffer Object）是指图元索引缓冲区对象，VAO 和 EBO 实际上是对同一类 Buffer 按照用途的不同称呼。
在Android系统中，使用GPU对摄像头画面进行高效可控的渲染，几乎是必须的。说到GPU就不得不提OpenGL，一组GPU暴露给应用层使用的接口。
VBO（Vertex Buffer Object）是指顶点缓冲区对象，而 EBO（Element Buffer Object）是指图元索引缓冲区对象，VAO
前文 《OpenGL ES 多目标渲染（MRT）》中我们了解了利用 MRT 技术可以一次渲染到多个缓冲区，本文将利用帧缓冲区位块传送实现高性能缓冲区之间的像素拷贝。
该文章介绍了如何通过OpenGL ES 2.0实现iOS平台上的图形渲染。首先介绍了OpenGL ES 2.0规范，然后讲解了如何配置OpenGL ES环境并创建渲染缓冲区。随后介绍了如何使用OpenGL ES 2.0中的glClearColor和glClear函数实现清除屏幕。最后讲解了如何渲染图形以及使用glReadPixels读取渲染结果。
OpenGL首先我们从字面意思来理解:Open Graphics Library,开放的图形库，图形库自然是处理图形的，所以简单来说OpenGL就是用来处理图形的一个三方库。 稍微技术流一点，作如下解释：是用于渲染2D,3D矢量图形的跨语言、跨平台的应用程序编程接口(API）。
上面我们得到的（ ？）是不在归一化坐标范围内的，为了能使OpenGL正确的渲染，我们就需要把（？）以及其他边统一转换到归一化坐标内，这个操作就是正交投影
前些时间，我在知识星球上创建了一个音视频技术社群：关键帧的音视频开发圈，在这里群友们会一起做一些打卡任务。比如：周期性地整理音视频相关的面试题，汇集一份音视频面试题集锦，你可以看看这个合集：音视频面试题集锦。再比如：循序渐进地归纳总结音视频技术知识，绘制一幅音视频知识图谱，你可以看看这个合集：音视频知识图谱。
1). 三个什么端点（屏幕坐标点）？ 要回答这个问题要先了解 OpenGL ES 的坐标系在屏幕上是怎样分布的：
最近，有位读者大人在后台反馈：在参加一场面试的时候，面试官要求他用 shader 实现图像格式 RGB 转 YUV ，他听了之后一脸懵，然后悻悻地对面试官说，他只用 shader 做过 YUV 转 RGB，不知道 RGB 转 YUV 是个什么思路。
下面是第 19 期面试题精选，我们来介绍几种在 Android 开发中读取纹理数据的方法：
前些时间，我在知识星球上创建了一个音视频技术社群：关键帧的音视频开发圈，在这里群友们会一起做一些打卡任务。比如：周期性地整理音视频相关的面试题，汇集一份音视频面试题集锦，你可以看看《音视频面试题集锦 2022.04》。再比如：循序渐进地归纳总结音视频技术知识，绘制一幅音视频知识图谱。
今天我们讲一下OpenGL与OpenGL在移动端的应用 OpenGL，Open Graphics Library，开放式图形库,就是一个库，与我们平时使用的三方库差不多。 OpenGL在移动端的表现形式为OpenGLES（OpenGL for Embedded Systems），是 OpenGL 三维图形 API 的子集，针对手机、PDA和游戏主机等嵌入式设备而设计。
之前我们比较多的介绍视频的渲染和处理，本文我们想谈一谈图片，和视频比起来，图片确实相对简单点，我们知道视频本质上是一帧帧的“图片”组成的，都了解了视频了，图片还需要去了解吗？图片的渲染和视频有相通之处，也有其独特的特点。
前言 最近观看下面这本书有感，结合之前的学习，对OpenGL的知识进行回顾。 概念 帧缓存：接收渲染结果的缓冲区，为GPU指定存储渲染结果的区域。 帧缓存可以同时存在多个，但是屏幕显示像素受到
一、OpenGLES简介(请自行百度) 使用OpenGLES你可以做出很多超酷的东西！但(That's not what I said)： 很多编程语言都是入门容易精通难，但openGL连入门都很难。 二、学习前置任务 请大量查询相关知识资料，OpenGLES的知识点，基础要求太多了。 关键词提示：OpenGLES、VBO、FBO、视口、着色器、glsl、纹理、矩阵变换、投影矩阵、观察矩阵、模型矩阵、坐标系统、等，文章中如有我给的链接，请点开看一遍，都是我觉得最好的知识链接，也能启发你对下文的理解。 三、进
EGL 是 OpenGL ES 和本地窗口系统（Native Window System）之间的通信接口，它的主要作用：
如图1，我们知道 OpenGL/OpenGL ES 是一个图形图像渲染框架，它的规范由Khronos组织制定，各个显卡厂商在驱动中实现规范，再由各个系统厂商集成到系统中，最终提供各种语言的 API 给开发者使用。
OpenGL2）新开 buffer 同时新开线程时，对应的流水线变为：线程 1：采集 → buffer 1 → 线程 2：滤镜 → buffer 2 → 主线程：渲染。这种方案当然是更好的方案，它使得各个模块可以并行，而且性能兼容性更好。因为在实际需求中，我们采集后的图像数据处理，除了滤镜，可能会增加人脸识别、磨皮、美白、特效等更复杂功能，这时候处理耗时就可能较长了，放在主线程可能卡住主线程，更可能会影响到渲染的帧率。此外，我们采集的图像数据除了预览渲染，一般是需要编码封装后存储本地或推流上传网络的，编码模块的速度与特效处理的速度不匹配时，这就需要增加 buffer 了。 这样一来整个流程就相当于两个生产者消费者模型了，而每个 buffer 就是对应的生产者和消费者线程的临界区。保证线程安全其实就是确保生产者线程和消费者线程对 buffer 数据的互斥访问，这里使用信号量即可。在 iOS 中可以用 dispatch_semaphore_t。
众所周知，OpenGL的鲁棒性很强，ES也同样，一般不会crash，例如某些接口传的参数不是OpenGL预期的类型，也很少会发生crash。可是，一旦发生了crash或渲染异常，由于其本质上是一个状态机，就导致了错误会累计，发生crash的现场并非问题的源头，十分难定位。好比OpenGL会经常挂在drawcall上，然而很有可能是在前面的glBindTexture、glTexImage2D或glUniformMatrix等方法中出现了问题。故此，本文根据笔者遇到的OpenGL ES问题，包括crash或渲染异常，整理出一份OpenGL ES在iOS系统中的问题快速定位表单。
首先这可能是一个送命题，小姐姐需要瘦身大长腿效果吗？恩，小姐姐都是自带瘦身大长腿的，有没有？
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
