Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Qt音视频开发38-USB摄像头解码linux方案

Qt音视频开发38-USB摄像头解码linux方案

原创
作者头像
feiyangqingyun
修改于 2020-10-21 06:33:21
修改于 2020-10-21 06:33:21
2.9K0
举报
文章被收录于专栏:Qt项目实战Qt项目实战

一、前言

做嵌入式linux上的开发很多年了,扳手指头算算,也起码9年了,陆陆续续做过很过诸如需要读取外接的USB摄像头或者CMOS摄像机的程序,实时采集视频,将图像传到前端,或者对图像进行人脸分析处理,最开始尝试的就是QCamera来处理,直接歇菜放弃,后面通过搜索发现都说要用v4l2视频框架来进行,于是东搞搞西搞搞尝试了很多次,终于整出来了,前后完善了好几年,无论写什么程序,发现要简简单单的实现基础的功能,都是非常快速而且容易的,但是想要做得好做得精,要花不少的精力时间去完善,适应各种不同的场景,比如就说用v4l2加载摄像头这个,需要指定设备文件来读取,而现场不可能让用户来给你指定,频繁的拔插也会导致设备文件名的改动,所以必须找到一个机制自动寻找你想要的摄像机的设备文件名称,比如开个定时器去调用linux命令来处理,甚至在不同的系统平台上要执行的命令还有些许的区别,如果本地有多个摄像头还需要区分左右之类的时候,那就只能通过断电先后上电顺序次序来区分了。

linux方案处理流程:

  1. 调用封装的函数findCamera实时查找摄像头设备文件名。
  2. 调用::open函数打开设备文件。
  3. 调用封装的函数initCamera初始化摄像头参数(图片格式、分辨率等)。
  4. 调用::select函数从缓冲区取出一个缓冲帧。
  5. 缓冲帧数据是yuyv格式的,需要转换rgb24再转成QImage。
  6. 拿到图片进行绘制、人脸分析等。
  7. 关闭设备文件。

二、功能特点

  1. 同时支持windows、linux、嵌入式linux上的USB摄像头实时采集。
  2. 支持多路USB摄像头多线程实时采集。
  3. 在嵌入式linux设备上,自动查找USB设备文件并加载。
  4. 可手动设置设备文件名称,手动设置后按照手动设置的设备文件加载。
  5. 在嵌入式linux设备上支持人脸识别接口,实时绘制人脸框。
  6. 具有打开、暂停、继续、关闭、截图等常规功能。
  7. 可设置两路OSD标签,分别设置文本、颜色、字号、位置等。
  8. 可作为视频监控系统使用。

三、效果图

QQ图片20201016145740.jpg
QQ图片20201016145740.jpg

四、相关站点

  1. 国内站点:https://gitee.com/feiyangqingyun/QWidgetDemo
  2. 国际站点:https://github.com/feiyangqingyun/QWidgetDemo
  3. 个人主页:https://blog.csdn.net/feiyangqingyun
  4. 知乎主页:https://www.zhihu.com/people/feiyangqingyun/
  5. 体验地址:https://blog.csdn.net/feiyangqingyun/article/details/97565652

五、核心代码

代码语言:txt
AI代码解释
复制
void CameraLinux::run()
{
    while (!stopped) {
        if (!cameraOk) {
            msleep(10);
            continue;
        }

        if (isPause) {
            //这里需要假设正常,暂停期间继续更新时间
            lastTime = QDateTime::currentDateTime();
            msleep(10);
            continue;
        }

        QImage image = readImage();
        if (!image.isNull()) {
            if (isSnap) {
                emit snapImage(image);
                isSnap = false;
            }

            if (findFaceOne) {
                findFace(image);
            }

            if (findFaceRect) {
                image = drawFace(image);
            }

            lastTime = QDateTime::currentDateTime();
            emit receiveImage(image);
        }

        msleep(interval);
    }

    this->closeCamera();
    this->initData();
}

QDateTime CameraLinux::getLastTime() const
{
    return this->lastTime;
}

QString CameraLinux::getCameraName() const
{
    return this->cameraName;
}

int CameraLinux::getCameraWidth() const
{
    return this->cameraWidth;
}

int CameraLinux::getCameraHeight() const
{
    return this->cameraHeight;
}

void CameraLinux::sleep(int msec)
{
    if (msec > 0) {
        QTime endTime = QTime::currentTime().addMSecs(msec);
        while (QTime::currentTime() < endTime) {
            QCoreApplication::processEvents(QEventLoop::AllEvents, 100);
        }
    }
}

void CameraLinux::initData()
{
    stopped = false;
    isPause = false;
    isSnap = false;
    cameraOk = false;
    cameraHwnd = -1;
    errorCount = 0;
}

void CameraLinux::readData()
{
    QStringList cameraNames;
    while (!process->atEnd()) {
        //逐行读取返回的结果 过滤video开头的是摄像头设备文件
        QString line = process->readLine();
        if (line.startsWith("video")) {
            line = line.replace("\n", "");
            cameraNames << QString("/dev/%1").arg(line);
        }
    }

    if (cameraNames.count() > 0) {
        cameraName = cameraNames.first();
        emit receiveCamera(cameraNames);
        qDebug() << TIMEMS << cameraNames;
    }
}

bool CameraLinux::initCamera()
{
    //如果没有指定设备文件名称(默认auto)则查找
    if (cameraName == "auto") {
        findCamera();
    }

    //延时判断是否获取到了设备文件
    sleep(300);
    return openCamera();
}

void CameraLinux::findCamera()
{
    if (process->state() == QProcess::NotRunning) {
        process->start("ls /dev/");
    }
}

bool CameraLinux::openCamera()
{
#ifdef Q_OS_LINUX
    if (cameraName.length() > 5) {
        cameraHwnd = ::open(cameraName.toUtf8().data(), O_RDWR | O_NONBLOCK, 0);
    }

    if (cameraHwnd < 0) {
        qDebug() << TIMEMS << "open camera error";
        return false;
    }

    //查询设备属性
    struct v4l2_capability capability;
    if (::ioctl(cameraHwnd, VIDIOC_QUERYCAP, &capability) < 0) {
        qDebug() << TIMEMS << "error in VIDIOC_QUERYCAP";
        ::close(cameraHwnd);
        return false;
    }

    if (!(capability.capabilities & V4L2_CAP_VIDEO_CAPTURE)) {
        qDebug() << TIMEMS << "it is not a video capture device";
        ::close(cameraHwnd);
        return false;
    }

    if (!(capability.capabilities & V4L2_CAP_STREAMING)) {
        qDebug() << TIMEMS << "it can not streaming";
        ::close(cameraHwnd);
        return false;
    }

    if (capability.capabilities == 0x4000001) {
        qDebug() << TIMEMS << "capabilities" << "V4L2_CAP_VIDEO_CAPTURE | V4L2_CAP_STREAMING";
    }

    //设置视频输入源
    int input = 0;
    if (::ioctl(cameraHwnd, VIDIOC_S_INPUT, &input) < 0) {
        qDebug() << TIMEMS << "error in VIDIOC_S_INPUT";
        ::close(cameraHwnd);
        return false;
    }

    //设置图片格式和分辨率
    struct v4l2_format format;
    format.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
    //多种格式 V4L2_PIX_FMT_YUV420  V4L2_PIX_FMT_YUYV(422) V4L2_PIX_FMT_RGB565
    format.fmt.pix.pixelformat = V4L2_PIX_FMT_YUYV;
    //部分硬件花屏要设置成 V4L2_FIELD_NONE
    format.fmt.pix.field = V4L2_FIELD_INTERLACED;
    format.fmt.pix.width = cameraWidth;
    format.fmt.pix.height = cameraHeight;

    int bpp = 16;
    //format.fmt.pix.bytesperline = width * bpp / 8;
    //format.fmt.pix.sizeimage = cameraWidth * cameraHeight * bpp / 8;

    if (::ioctl(cameraHwnd, VIDIOC_S_FMT, &format) < 0) {
        ::close(cameraHwnd);
        return false;
    }

    //查看图片格式和分辨率,判断是否设置成功
    if (::ioctl(cameraHwnd, VIDIOC_G_FMT, &format) < 0) {
        qDebug() << TIMEMS << "error in VIDIOC_G_FMT";
        ::close(cameraHwnd);
        return false;
    }

    //重新打印下宽高看下是否真正设置成功
    struct v4l2_pix_format pix = format.fmt.pix;
    quint32 pixelformat = pix.pixelformat;
    qDebug() << TIMEMS << "cameraWidth" << cameraWidth << "cameraHeight" << cameraHeight << "width" << pix.width << "height" << pix.height;
    qDebug() << TIMEMS << "pixelformat" << QString("%1%2%3%4").arg(QChar(pixelformat & 0xFF)).arg(QChar((pixelformat >> 8) & 0xFF)).arg(QChar((pixelformat >> 16) & 0xFF)).arg(QChar((pixelformat >> 24) & 0xFF));

    //重新设置宽高为真实的宽高
    cameraWidth = pix.width;
    cameraHeight = pix.height;

    //设置帧格式
    struct v4l2_streamparm streamparm;
    streamparm.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
    streamparm.parm.capture.timeperframe.numerator = 1;
    streamparm.parm.capture.timeperframe.denominator = 25;
    streamparm.parm.capture.capturemode = 0;

    if (::ioctl(cameraHwnd, VIDIOC_S_PARM, &streamparm) < 0) {
        qDebug() << TIMEMS << "error in VIDIOC_S_PARM";
        ::close(cameraHwnd);
        return false;
    }

    if (::ioctl(cameraHwnd, VIDIOC_G_PARM, &streamparm) < 0) {
        qDebug() << TIMEMS << "error in VIDIOC_G_PARM";
        ::close(cameraHwnd);
        return false;
    }

    //申请和管理缓冲区
    struct v4l2_requestbuffers requestbuffers;
    requestbuffers.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
    requestbuffers.memory = V4L2_MEMORY_MMAP;
    requestbuffers.count = 1;

    if (::ioctl(cameraHwnd, VIDIOC_REQBUFS, &requestbuffers) < 0) {
        qDebug() << TIMEMS << "error in VIDIOC_REQBUFS";
        ::close(cameraHwnd);
        return false;
    }

    buff_yuv422 = (uchar *)malloc(cameraWidth * cameraHeight * bpp / 8);
    buff_yuv420 = (uchar *)malloc(cameraWidth * cameraHeight * bpp / 8);
    buff_rgb24 = (uchar *)malloc(cameraWidth * cameraHeight * 24 / 8);

    buff_img = (ImgBuffer *)calloc(1, sizeof(ImgBuffer));
    if (buff_img == NULL) {
        qDebug() << TIMEMS << "error in calloc";
        ::close(cameraHwnd);
        return false;
    }

    struct v4l2_buffer buffer;
    for (int index = 0; index < 1; index++) {
        buffer.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
        buffer.memory = V4L2_MEMORY_MMAP;
        buffer.index = index;

        if (::ioctl(cameraHwnd, VIDIOC_QUERYBUF, &buffer) < 0) {
            qDebug() << TIMEMS << "error in VIDIOC_QUERYBUF";
            ::free(buff_img);
            ::close(cameraHwnd);
            return false;
        }

        buff_img[index].length = buffer.length;
        buff_img[index].start = (quint8 *)mmap(NULL, buffer.length, PROT_READ | PROT_WRITE, MAP_SHARED, cameraHwnd, buffer.m.offset);
        if (MAP_FAILED == buff_img[index].start) {
            qDebug() << TIMEMS << "error in mmap";
            ::free(buff_img);
            ::close(cameraHwnd);
            return false;
        }

        //把缓冲帧放入队列
        if (::ioctl(cameraHwnd, VIDIOC_QBUF, &buffer) < 0) {
            qDebug() << TIMEMS << "error in VIDIOC_QBUF";
            for (int i = 0; i <= index; i++) {
                munmap(buff_img[i].start, buff_img[i].length);
            }

            ::free(buff_img);
            ::close(cameraHwnd);
            return false;
        }
    }

    enum v4l2_buf_type type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
    if (::ioctl(cameraHwnd, VIDIOC_STREAMON, &type) < 0) {
        qDebug() << TIMEMS << "error in VIDIOC_STREAMON";
        for (int i = 0; i < 1; i++) {
            munmap(buff_img[i].start, buff_img[i].length);
        }

        ::free(buff_img);
        ::close(cameraHwnd);
        return false;
    }

    cameraOk = true;
#endif
    qDebug() << TIMEMS << "open camera ok";
    return cameraOk;
}

void CameraLinux::closeCamera()
{
#ifdef Q_OS_LINUX
    if (cameraOk && buff_img != NULL) {
        //停止摄像头采集
        enum v4l2_buf_type type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
        if (::ioctl(cameraHwnd, VIDIOC_STREAMOFF, &type) < 0) {
            qDebug() << TIMEMS << "error in VIDIOC_STREAMOFF";
        }

        //解除内存映射
        for (int i = 0; i < 1; i++) {
            munmap((buff_img)[i].start, (buff_img)[i].length);
        }

        //关闭设备文件
        ::close(cameraHwnd);
        qDebug() << TIMEMS << "close camera ok";
    }

    //释放资源
    ::free(buff_img);
    buff_img = NULL;
    ::free(buff_yuv422);
    buff_yuv422 = NULL;
    ::free(buff_yuv420);
    buff_yuv420 = NULL;
    ::free(buff_rgb24);
    buff_rgb24 = NULL;

    cameraOk = false;
    cameraHwnd = -1;
#endif
}

int CameraLinux::readFrame()
{
    int index = -1;
#ifdef Q_OS_LINUX
    //等待摄像头采集到一桢数据
    for (;;) {
        fd_set fds;
        struct timeval tv;
        FD_ZERO(&fds);
        FD_SET(cameraHwnd, &fds);
        tv.tv_sec = 2;
        tv.tv_usec = 0;

        int r = ::select(cameraHwnd + 1, &fds, NULL, NULL, &tv);
        if (-1 == r) {
            if (EINTR == errno) {
                continue;
            }
            return -1;
        } else if (0 == r) {
            return -1;
        } else {
            //采集到一张图片 跳出循环
            break;
        }
    }

    //从缓冲区取出一个缓冲帧
    struct v4l2_buffer buffer;
    buffer.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
    buffer.memory = V4L2_MEMORY_MMAP;
    if (::ioctl(cameraHwnd, VIDIOC_DQBUF, &buffer) < 0) {
        qDebug() << TIMEMS << "error in VIDIOC_DQBUF";
        return -1;
    }

    memcpy(buff_yuv422, (uchar *)buff_img[buffer.index].start, buff_img[buffer.index].length);

    //将取出的缓冲帧放回缓冲区
    if (::ioctl(cameraHwnd, VIDIOC_QBUF, &buffer) < 0) {
        qDebug() << TIMEMS << "error in VIDIOC_QBUF";
        return -1;
    }

    index = buffer.index;
#endif
    return index;
}

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
全志D1-H开发板USB摄像头拍照Demo
D1-H哪吒开发板上有一个USB Host接口(即电脑上那种插鼠标键盘的USB口),同时D1-H Tina Linux支持UVC(USB Video Class,USB视频类),这样D1-H就具备了开发和使用USB摄像头的软硬件条件。
阿志小管家
2024/03/05
3840
全志D1-H开发板USB摄像头拍照Demo
Linux下采集摄像头的图像再保存为JPG图片存放到本地(YUYV转JPG)
操作系统:ubuntu18.04 X64位 和 嵌入式Linux操作(ARM)
DS小龙哥
2022/01/12
4.7K0
Linux下采集摄像头的图像再保存为JPG图片存放到本地(YUYV转JPG)
基于linux开发uvc摄像头_uvc协议扩展
大家好,我是架构君,一个会写代码吟诗的架构师。今天说一说基于linux开发uvc摄像头_uvc协议扩展,希望能够帮助大家进步!!!
Java架构师必看
2022/08/01
3.8K0
深入学习Linux摄像头v4l2应用编程
vl42是video for Linux 2的缩写,是一套Linux内核视频设备的驱动框架,该驱动框架为应用层提供一套统一的操作接口(一系列的ioctl)
杨源鑫
2023/11/16
2.2K0
深入学习Linux摄像头v4l2应用编程
嵌入式Linux下LCD应用编程: 读取摄像头画面完成本地视频监控画面显示
完整项目代码下载地址(包含矢量字库源码和编译安装方法): https://download.csdn.net/download/xiaolong1126626497/16680219
DS小龙哥
2022/01/12
2.4K0
嵌入式Linux下LCD应用编程: 读取摄像头画面完成本地视频监控画面显示
X264编解码器开发: Linux下读取摄像头数据,通过X264压缩编码为X264格式裸流视频文件
博客的下载地址: https://download.csdn.net/download/xiaolong1126626497/12339693
DS小龙哥
2022/01/17
1.4K0
全志R128基础组件开发指南——图像采集
CSI (CMOS sensor interface)接口时序上可支持独立 SYNC 和嵌入 SYNC(CCIR656)。支持接收 YUV422 或 YUV420 数据。
阿志小管家
2024/02/02
4070
全志R128基础组件开发指南——图像采集
【C++】开源:Linux端V4L2视频设备库
Video4Linux2(V4L2)是一个用于Linux操作系统的视频设备驱动框架。它提供了一个统一的接口,用于在应用程序和视频设备之间进行通信和交互。
DevFrank
2024/07/24
5260
vivi虚拟摄像头驱动程序
一、vivi虚拟摄像头驱动 基于V4L2(video for linux 2)摄像头驱动程序,我们减去不需要的ioctl_fops的函数,只增加ioctl函数增加的必要的摄像头流查询等函数; 1 #include <linux/module.h> 2 #include <linux/module.h> 3 #include <linux/delay.h> 4 #include <linux/errno.h> 5 #include <linux/fs.h> 6 #include <li
233333
2018/03/07
2.5K0
vivi虚拟摄像头驱动程序
FFMPEG音频开发: Linux下采集摄像头(使用V4L2框架)数据录制成MP4视频保存到本地
X264下载地址: http://www.videolan.org/developers/x264.html
DS小龙哥
2022/01/12
3K0
FFMPEG音频开发: Linux下采集摄像头(使用V4L2框架)数据录制成MP4视频保存到本地
FFMPEG音视频开发: Linux下采集音频(alsa-lib库)与视频(V4L2框架)实时同步编码保存为MP4文件(视频录制)
参考这篇文章: https://blog.csdn.net/xiaolong1126626497/article/details/104919095
DS小龙哥
2022/01/12
2.3K0
FFMPEG音视频开发:  Linux下采集音频(alsa-lib库)与视频(V4L2框架)实时同步编码保存为MP4文件(视频录制)
Linux小项目-倒车影像功能设计
倒车影像已经是现在汽车的标配功能了,基本很多车出厂都是360全景影像,倒车影像又称泊车辅助系统,这篇文章就采用Linux开发板完成一个倒车影像的功能。
DS小龙哥
2022/05/11
2.5K0
Linux小项目-倒车影像功能设计
Linux应用开发【第七章】摄像头V4L2编程应用开发
​ Video for Linux two(Video4Linux2)简称V4L2,是V4L的改进版。V4L2是linux操作系统下一套用于采集图片、视频和音频数据的通用API接口,配合适当的视频采集设备和相应的驱动程序,可以实现图片、视频、音频等的采集。V4L2像一个优秀的快递员,将视频采集设备的图像数据安全、高效的传递给不同需求的用户。
韦东山
2021/12/15
2.7K0
Linux应用开发【第七章】摄像头V4L2编程应用开发
libudev+V4L2 linux usb摄像头列表发现以及热拔插事件
最近工作计划本来是重写CameraCtrl 控制类以及实现推流。但是由于需求变动导致之前调研废弃,就暂时放这吧。
何其不顾四月天
2023/03/10
2.9K0
Linux V4L2子系统-应用层访问video设备
V4L2子系统向上提供了很多访问Video设备的接口,应用程序可以通过系统调用访问Video设备。但由于Video设备千差万别,很少有设备驱动程序能支持所有的接口功能,因此在使用之前,需要了解设备驱动程序支持的功能。
用户6280468
2023/08/31
6710
Linux V4L2子系统-应用层访问video设备
Android 利用V4L2 调用camera
出于安全原因,使用Android 原生的Camera接口,必须要使用可见的surface显示摄像头的preview图像,即必须要让用户看到你的应用正在使用摄像头。另外Android Camera framework经过层层封装,同时必须调用到显示和MediaPlayer两个模块,数据处理的环节比较多。 在开发过程中,可能会有需求只需要去获取camera数据结合AI进行处理。通过V4L2接口可以直接从驱动获取camera数据,省去了很多中间环节,同时可以在后台处理数据,不需要作为前台应用运行。
小蚂蚁与大象
2020/09/16
5K0
v4l2驱动框架(Windows驱动开发技术详解)
2.进入目录:/lib/modules/3.13.0-24-generic/kernel/drivers/media/v4l2-core,运行:
全栈程序员站长
2022/07/28
2.9K0
v4l2驱动框架(Windows驱动开发技术详解)
Qt音视频开发37-USB摄像头解码ffmpeg方案
用ffmpeg来处理USB摄像头,是前段时间研究视频监控ffmpeg内核的时候搞定的,既然ffmpeg这么牛逼的库可以解析各种音视频,我想处理个本地USB摄像头应该也不是什么难事,果真搜索也是一大堆,当然主要也是因为有个项目的应用需要用到ffmpeg来处理本地USB摄像头,需要拿到每张图片做智能分析,用Qt自带的camera类不大好处理,刚好将ffmpeg的处理流程都搞清楚了,索性直接用ffmpeg来直接处理好了,用上这么强大的解码库,理论上支持各种USB摄像头。本地USB摄像机不需要硬解码,视频流编码类型为 AV_CODEC_ID_RAWVIDEO 像素格式为 AV_PIX_FMT_YUYV422 不经过解码操作直接就可显示。
feiyangqingyun
2020/10/20
2.5K0
Qt音视频开发37-USB摄像头解码ffmpeg方案
全志 芯片 Linux MIPI CSI摄像头接口开发指南 VIN DVP CSI MIPI V4l2
VIN 驱动可以分为 Kernel 层、Video Input Framework、Device Driver 层。
韦东山
2022/12/28
5.5K0
全志 芯片 Linux MIPI CSI摄像头接口开发指南 VIN DVP CSI MIPI V4l2
Linux MIPI CSI 开发指南
VIN 驱动可以分为 Kernel 层、Video Input Framework、Device Driver 层。
韦东山
2023/02/25
3.5K0
Linux MIPI CSI 开发指南
推荐阅读
相关推荐
全志D1-H开发板USB摄像头拍照Demo
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档