如何使用Deepstream SDK拍摄视频并提取jpg格式的帧

Deepstream SDK 是 NVIDIA 提供的一个用于视频处理的开源平台，它支持多种视频流处理任务，包括视频捕获、图像处理、对象检测等。以下是如何使用 Deepstream SDK 拍摄视频并提取 JPG 格式帧的基本步骤：

基础概念

Deepstream SDK 提供了一个灵活的框架，用于构建高性能的视频分析应用。它支持多种硬件加速，包括 GPU 加速的视频编解码和处理。

类型

Deepstream SDK 支持多种类型的视频处理任务，包括但不限于：

视频捕获
图像处理
对象检测
视频编码

应用场景

智能监控系统
自动驾驶车辆
工业自动化
医疗影像分析

如何使用 Deepstream SDK 拍摄视频并提取 JPG 格式的帧

安装 Deepstream SDK

首先，你需要安装 Deepstream SDK。你可以从 NVIDIA 的官方网站下载并按照官方文档进行安装。

配置视频捕获

使用 Deepstream SDK 配置视频捕获通常涉及以下步骤：

gst-launch-1.0 v4l2src ! video/x-raw,width=1920,height=1080,framerate=30/1 ! nvvidconv ! video/x-raw(memory:NVMM),width=1920,height=1080,format=I420 ! nvjpegenc ! filesink location=output.jpg

这个命令行示例使用 v4l2src 从摄像头捕获视频流，然后通过 nvvidconv 将视频流转换为 GPU 可以处理的格式，接着使用 nvjpegenc 将视频帧编码为 JPG 格式，并最终保存到文件。

提取帧

如果你想要在视频流中定时提取帧，可以使用 GstQueue 和 GstCapsFilter 来实现。以下是一个简单的示例代码片段：

#include <gst/gst.h>

static GstElement *pipeline, *source, *capsfilter, *converter, *encoder, *sink;

static void pad_added_handler(GstElement *src, GstPad *new_pad, gpointer user_data) {
    GstPad *sink_pad = gst_element_get_static_pad(GST_ELEMENT(user_data), "sink");
    GstPadLinkReturn ret;
    GstCaps *new_pad_type = NULL;

    new_pad_type = gst_pad_get_current_caps(new_pad);
    GstStructure *new_pad_struct = gst_caps_get_structure(new_pad_type, 0);
    const gchar *new_pad_type_name = gst_structure_get_name(new_pad_struct);

    g_print("Received new pad '%s' from '%s':\n", GST_OBJECT_NAME(new_pad), GST_ELEMENT_NAME(src));

    if (g_str_has_prefix(new_pad_type_name, "video/x-raw")) {
        ret = gst_pad_link(new_pad, sink_pad);
        if (GST_PAD_LINK_FAILED(ret)) {
            g_print("Type is '%s' but link failed.\n", new_pad_type_name);
        } else {
            g_print("Link succeeded (type '%s').\n", new_pad_type_name);
        }
    } else {
        g_print("It has type '%s' which is not raw video. Ignoring.\n", new_pad_type_name);
    }

    if (new_pad_type != NULL)
        gst_caps_unref(new_pad_type);
    gst_object_unref(sink_pad);
}

int main(int argc, char *argv[]) {
    gst_init(&argc, &argv);

    pipeline = gst_pipeline_new("video-pipeline");
    source = gst_element_factory_make("v4l2src", "video-source");
    capsfilter = gst_element_factory_make("capsfilter", "caps-filter");
    converter = gst_element_factory_make("videoconvert", "converter");
    encoder = gst_element_factory_make("nvjpegenc", "encoder");
    sink = gst_element_factory_make("filesink", "sink");

    g_object_set(G_OBJECT(capsfilter), "caps", gst_caps_from_string("video/x-raw, format=(string)I420"));

    gst_bin_add_many(GST_BIN(pipeline), source, capsfilter, converter, encoder, sink, NULL);
    gst_element_link_many(capsfilter, converter, encoder, sink, NULL);

    g_signal_connect(source, "pad-added", G_CALLBACK(pad_added_handler), converter);

    gst_element_set_state(pipeline, GST_STATE_PLAYING);

    GstBus *bus = gst_element_get_bus(pipeline);
    GstMessage *msg = gst_bus_timed_pop_filtered(bus, GST_CLOCK_TIME_NONE,
        static_cast<GstMessageType>(GST_MESSAGE_ERROR | GST_MESSAGE_EOS));

    if (msg != NULL)
        gst_message_unref(msg);

    gst_object_unref(bus);
    gst_element_set_state(pipeline, GST_STATE_NULL);
    gst_object_unref(pipeline);
    return 0;
}

这个示例代码创建了一个视频处理管道，从摄像头捕获视频流，转换视频格式，并将视频帧编码为 JPG 格式保存到文件。