操作系统：ubuntu18.04 X64位 和 嵌入式Linux操作(ARM)
以上分为：软件控制流程、图像算法、图像效果，这是相对于Android平台来划分的(图片来源于韦东山老师专家计划的Camera相关章节的学习笔记)。对于驱动工程师，我们只需要关注以下两个点：
将上述资源包下载完成解压后，把示例程序100ASK_viplite-driver放在Ubuntu中的任意目录中。假设我放在/home/book/workspaces目录下，下面为人形识别和人脸识别应用程序的目录结构。
网上关于使用libyuv库在Linux下对NV12格式进行缩放的教程是在太少了，对于博主这种菜鸡来说简直就是煎熬，因为本人阅读源码的能力实在很差啊！！！但不管怎么样，把这几天所得写下来，希望对大家有帮助。
本篇给大家详细讲解了MTKAndroid平台开发流程，大致分为44个步骤，我们把每个步骤的命令详细讲解了下，一起来学习下。
MPSoC VCU在很多产品中得到了应用。在不同产品的调试过程中，有一些共同的办法。
我们今天用这两个设备做一个拍摄监控方案（非视频录制），然后将拍摄好的图片合成视频进行观看。
做嵌入式linux上的开发很多年了，扳手指头算算，也起码9年了，陆陆续续做过很过诸如需要读取外接的USB摄像头或者CMOS摄像机的程序，实时采集视频，将图像传到前端，或者对图像进行人脸分析处理，最开始尝试的就是QCamera来处理，直接歇菜放弃，后面通过搜索发现都说要用v4l2视频框架来进行，于是东搞搞西搞搞尝试了很多次，终于整出来了，前后完善了好几年，无论写什么程序，发现要简简单单的实现基础的功能，都是非常快速而且容易的，但是想要做得好做得精，要花不少的精力时间去完善，适应各种不同的场景，比如就说用v4l2加载摄像头这个，需要指定设备文件来读取，而现场不可能让用户来给你指定，频繁的拔插也会导致设备文件名的改动，所以必须找到一个机制自动寻找你想要的摄像机的设备文件名称，比如开个定时器去调用linux命令来处理，甚至在不同的系统平台上要执行的命令还有些许的区别，如果本地有多个摄像头还需要区分左右之类的时候，那就只能通过断电先后上电顺序次序来区分了。
相信大家有很多人在做图像，或者做过图像，甚至视频，最近有个需求，实现多路usb摄像头同开，用c/c++实现。
大概几年前搞过一套嵌入式linux上的人脸识别程序，当然人脸识别的核心算法并不是自己开发的，关于人脸识别算法这一块，虽然有众多的开源库可以用，甚至还可以用opencv搞算法训练深度学习之类的，个人认为始终达不到准确度的要求，尤其是人脸比对的准确度，这个需要专业的人脸训练模型才行。目前市面上绝大部分的人脸识别库提供的都是X86的或者安卓ios的库，并没有嵌入式linux的库，估计一方面因为嵌入式linux跑的板子性能比较低，还有一个就是依赖特定编译器，版本众多难以提供，市场也小，所以大部分的厂家都没有提供嵌入式linux的开发包，这个就比较鸡肋，所以很多终端厂家最终弃用linux而选用安卓作为载体系统，这样就可以用上高大上的人脸识别库了，比如萤火虫开发板，RK3288 RK3399等。
VCU ctrlsw_decoder解码后，都会把图像从semi-planar转换为planar。 如果要查看VCU ctrlsw_decoder解码的XV20视频，也需要使用planar格式。 在电脑上，可以使用如下的ffplay命令，查看解码得到的YUV文件。
图像直方图均衡化主要是对图像中的少数灰度进行压缩，扩展该值的范围，以致于让这个图的对比度调高，使当前图像变得更加清晰。在一张图片中，若整体偏亮，直方图的值应该是在偏右侧，就可能会产生过渡曝光；若一张图像的直方图整体偏暗就会导致直方图呈现数值整体偏左，可能会造成过暗不清晰，所以一张图是否看起来舒服应该在直方图中的布局显示会相对于均衡。
上一篇博客实现了在ubuntu打开usb摄像头，也确认了 usb 摄像头支持 UVC，这节我们将 usb 驱动移植到荔枝派开发板上，并实现拍照的功能以及做 mjpeg-streamer 视频流服务器测试。
在前面的文章中已经完成了图片的加载和显示，接下来要做的就是加载 YUV 文件并显示。
将封装格式解压后可以得到压缩过的音视频等. 将压缩过的视频解压后可以得到 视频像素数据(RGB,YUV等).常见的视频压缩格式有H.264, MPEG4等…
色彩空间又可以叫做色域，英文是Color Sapce，是一种人为建立，用于表示色彩的一种“坐标系统”，或者说是一种色彩访问的取值系统，用于描述色彩。了解色彩空间对我们今后使用opencv进行图像处理很重要，在今后对图像处理时将会涉及到色彩空间的内容，所以学习了解色彩空间是有必要的。
文章前两天发过，标题错了，然后下面一部分内容格式错误，我也搞不了。这里做下标题的更正。
CameraX 是一个旨在帮助开发者简化相机应用开发工作的 Jetpack 支持库。它支持多种诸如 ImageCapture、Preview 和 ImageAnalysis 这种可以和 ML Kit 或 TensorFlow Lite 无缝结合的使用场景。这为文本识别、图像标记等应用的开发提供了可能，甚至还可以支持使用开发者自己训练的 TensorFlow Lite 模型进行物体的识别和检测。然而，在 CameraX 和这些库之间进行图像格式转换的工作还是比较费时费力的。本文我们会介绍最近为 CameraX ImageAnalysis 带来的新功能，支持从 YUV 到 RGB 的转换，我们会介绍一些背景知识，为什么会引入该功能，并会以少量的示例代码来介绍如何使用它。
先说这个东西有什么用，可以把市面上支持输出HDMI的运动相机转成树莓派的CSI接口，然后可以借助Linux强大的生态来捕获视频。至于应用，那可太多了。
raw数据是sensor输出的原始数据，一般有raw8, raw10, raw12等，分别表示一个像素点有8bit、10bit、12bit数据。是sensor将光信号转化为电信号时的电平高低的原始记录，单纯地没有进行任何处理的图像数据，即摄像元件直接得到的电信号进行数字化处理而得到的。
上一篇文章给大家介绍的是 USB 摄像头基于 motionEye 接入 HA，不过 motionEye 占用资源较多。
YUV模型是根据一个亮度(Y分量)和两个色度(UV分量)来定义颜色空间，常见的YUV格式有YUY2、YUYV、YVYU、UYVY、AYUV、Y41P、Y411、Y211、IF09、IYUV、YV12、YVU9、YUV411、YUV420等，其中比较常见的YUV420分为两种：YUV420P和YUV420SP。
我们已经能够加载 YUV 帧并显示了，那是把一张图片转换成 YUV 帧得到的素材。
RGB 三个字母分别代表了 红（Red）、绿（Green）、蓝（Blue），这三种颜色称为 三原色，将它们以不同的比例相加，可以产生多种多样的颜色。
jpeg编码学习笔记 各种图片格式目的是在网络传输和存储的时候使用更少的字节，即起到压缩的作用。在图片格式解码后，无论图片的格式，图片数据都是像素数组。 本文将尝试通过JPEG这种图片编码格式的学习，了解图片编码的秘密。 ---- JPEG简介 一张100X100大小的普通图片，如果未经压缩，大概在100*100*4*8bits=0.3MB左右,这也是图片在内存中占用的内存大小。 通常JPEG文件相对于原始图像,能够得到1/8的压缩比，如此高的压缩率是如何做到的呢？ JPEG能够获得如此高的压缩比是
Xilinx提供超低延时编解码方案，并提供了全套软件。MPSoC Video Codec Unit提供了详细说明。其中的底层应用软件是VCU Control-Software(Ctrl-SW)。
通过ImageReader的回调，我们就可以得到截屏的数据了。第一遍文章是通过自定义的Socket 协议进行传输。这里通过FFmpeg,将得到的数据进行软件编码，然后同样通过RTMP进行推流。
安卓的一个核心的部分的代码，为了优化执行速度进行了魔改，结果写错了代码。结果导致 JPG 图片压缩发绿、崩坏。与安卓上的应用无关，它们是受害者
元旦的时候接到一个任务，对 Android Camera 的缩略图展示性能做一些优化。作为一个 Camera 0 经验的菜鸟，各种铺面而来的专业术语瞬间就让我迷失了 ... 那么 0.1 s。
YUV,分为三个分量，“Y”表示明亮度，也就是灰度值；“U”和”V”表示的则是色度，作用是描述影像色彩饱和度，用于指定像素的颜色。YUV主流的采样方式有三种：YUV4：4：4，YUV4：2：2，YUV4：2：0，这里主要介绍下YUV420。
FFmpeg是一款开源软件，用于生成处理多媒体数据的各类库和程序。FFmpeg可以转码、处理视频和图 片（调整视频、图片大小，去噪等）、打包、传输及播放视频。作为最受欢迎的视频和图像处理软件， 早已经被各行各业的不同公司所广泛使用。
在流媒体应用中，视频编码是必不可少的一环。视频编码的作用是将高带宽、高码率的原始视频流压缩成低带宽、低码率的码流，以便于传输和存储。H264是一种高效的视频编码标准，具有良好的压缩性能和广泛的应用范围，在实时流媒体应用中得到了广泛的应用。
-i 是图像路径，img%5d.jpg表示图像的名称类似为img00001.jpg
在C++中很多地方需要用到图片，图片格式的转换成了难题。不过，可以使用一些库来实现图片格式的转换。其中，OpenCV 是一个广泛使用的计算机视觉库，它提供了许多图像处理和转换的功能。本文将用一些简单的实例来展示如何使用 OpenCV 进行图片格式的转换。
Stride 跨距 , 指的是 在 内存中 每行像素 占用的空间 , 由于 系统 对 图像有 跨距对齐 的要求 , 这个 Stride 跨距 可能 大于等于 实际的 图像像素 所占用的 宽度 ;
主要是介绍几款媒体常用软件,方便进行媒体类问题的定位分析,软件大部分是开源的，方便学习相关知识。
在日常的音视频开发中，我们经常使用FFmpeg，因为它确实好用呀，囊括了各种功能！但是有个很严重的问题，如果是编译在Android和IOS上使用，会造成APP的包很大。可以看我编译的FFmpeg在Android上的应用程式。
做音视频或图像处理方向的开发同学一般都或多或少接触过 libyuv[1] 这个开源库，我们在音视频开发中处理 YUV、RGB 等格式的数据转换、旋转、缩放时常常用到它。libyuv 基于 C 语言实现，可以在 Windows、Linux、Mac OS、Android、iOS 等多平台使用，并且做了指令集加速优化，有比较好的性能表现。
Camera1中我们可以通过onPreviewFrame接口直接获取到默认为NV21格式的预览数据， 如下图注释所示，还可以通过调用setPreviewFormat方法要求Camera返回YV12格式的预览数据
下载：ffmpeg-20200831-4a11a6f-win64-static.zip
做过camera, 播放器,图片处理的对YUV都不会陌生,但是关于YUV有很多的格式YUV420, NV21, YUV420sp, YV12等等往往令人混乱
描述: 最近公司业务中有这么一个需求就是在保证图像的清晰度的情况下, 减少其体积大小使得减轻外部请求流量带宽对网关的请访问压力，同时提高用户访问体验。所以在进行前期需求、运维成本等综合分析后，还是建议将图片格式转为Google推出的一种现代图像格式 Webp，考虑到 WebP图片已经是一种趋势了，现在已经有很知名的网站支持了这种格式的图片，当然你也可以使用 Google 出品的PageSpeed模块有一个功能，会自动将图像转换成WebP格式或者是浏览器所支持的其它格式(比较吃配置)。
vl42是video for Linux 2的缩写，是一套Linux内核视频设备的驱动框架，该驱动框架为应用层提供一套统一的操作接口(一系列的ioctl)
了解过计算机图形图像学的同学应该知道，有两种方式表示图像，RGB和YUV，视频由一帧一帧的图像组成，每一张图片是由一个一个的像素点组成，既然有两种表示像素的方法，那肯定要了解一下两种表示方式的异同以及优缺点。
前面讲到了在Android平台下使用FFmpeg进行RTMP推流（视频文件推流），里面主要是介绍如何解析视频文件并进行推流，今天要给大家介绍如何在Android平台下获取采集的图像，并进行编码推流。同时项目工程也是在之前的代码基础上新增功能。源码仓库地址FFmpegSample，这一节对应的代码版本是v1.2。大家注意不要下载错了版本。主要涉及的代码。
应项目需求，测试多路摄像头，需要测试程序移植到Arm机上，比如写的人脸识别算法，视频多拍等，那如何进行移植，如何操作呢，本篇文章进行详细阐述。
YUV是为了解决彩色电视与黑白电视的兼容性。黑白视频只有Y值，也就是灰度。而彩色电视则有YUV3个分量，如果只读取Y值，就只能显示黑白画面了。YUV最大的优点在于只需占用极少的带宽。
Alpha-Blending，是按照“Alpha”混合向量的值来混合源像素和目标像素的一种图像处理技术
Image为Android 5.0以上提供的类，用于保存YUV420格式的集合。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
