GStreamer基础教程08 - 多线程

本是古典何须时尚 2022-12-15 06:30 181阅读 0赞

# 摘要 #

GStreamer框架会自动处理多线程的逻辑，但在某些情况下，我们仍然需要根据实际的情况自己将部分Pipeline在单独的线程中执行，本文将介绍如何处理这种情况。

# GStreamer多线程 #

GStreamer框架是一个支持多线程的框架，线程会根据Pipeline的需要自动创建和销毁，例如，将媒体流与应用线程解耦，应用线程不会被GStreamer的处理阻塞。而且，GStreamer的插件还可以创建自己所需的线程用于媒体的处理，例如：在一个4核的CPU上，视频解码插件可以创建4个线程来最大化利用CPU资源。  
　　此外，在创建Pipeline时，我们还可以指定某个Pipeline的分支在不同的线程中执行（例如，使audio、video同时在不同的线程中进行解码）。这是通过queue Element来实现的，queue的sink pad仅仅将数据放入队列，另外一个线程从队列中取出数据，并传递到下一个Element。queue通常也被用于作为数据缓冲，缓冲区大小可以通过queue的属性进行配置。

![49ad7c7517eb36040a391a62b7b191c2.png][]

在上面的示例Pipeline中，souce是audiotestsrc，会产生一个相应的audio信号，然后使用tee Element将数据分为两路，一路被用于播放，通过声卡输出，另一路被用于转换为视频波形，用于输出到屏幕。  
示例图中的红色阴影部分表示位于同一个线程中，queue会创建单独的线程，所以上面的Pipeline使用了3个线程完成相应的功能。拥有多个sink的Pipeline通常需要多个线程，因为在多个sync间进行同步的时候，sink会阻塞当前所在线程直到所等待的事件发生。

# 示例代码 #

示例代码将创建上图所示的Pipeline。

![复制代码][48304ba5e6f9fe08f3fa1abda7d326ab.png]

#include <gst/gst.h>
    
    int main(int argc, char *argv[]) {
      GstElement *pipeline, *audio_source, *tee, *audio_queue, *audio_convert, *audio_resample, *audio_sink;
      GstElement *video_queue, *visual, *video_convert, *video_sink;
      GstBus *bus;
      GstMessage *msg;
      GstPad *tee_audio_pad, *tee_video_pad;
      GstPad *queue_audio_pad, *queue_video_pad;
    
      /* Initialize GStreamer */
      gst_init (&argc, &argv);
    
      /* Create the elements */
      audio_source = gst_element_factory_make ("audiotestsrc", "audio_source");
      tee = gst_element_factory_make ("tee", "tee");
      audio_queue = gst_element_factory_make ("queue", "audio_queue");
      audio_convert = gst_element_factory_make ("audioconvert", "audio_convert");
      audio_resample = gst_element_factory_make ("audioresample", "audio_resample");
      audio_sink = gst_element_factory_make ("autoaudiosink", "audio_sink");
      video_queue = gst_element_factory_make ("queue", "video_queue");
      visual = gst_element_factory_make ("wavescope", "visual");
      video_convert = gst_element_factory_make ("videoconvert", "csp");
      video_sink = gst_element_factory_make ("autovideosink", "video_sink");
    
      /* Create the empty pipeline */
      pipeline = gst_pipeline_new ("test-pipeline");
    
      if (!pipeline || !audio_source || !tee || !audio_queue || !audio_convert || !audio_resample || !audio_sink ||
          !video_queue || !visual || !video_convert || !video_sink) {
        g_printerr ("Not all elements could be created.\n");
        return -1;
      }
    
      /* Configure elements */
      g_object_set (audio_source, "freq", 215.0f, NULL);
      g_object_set (visual, "shader", 0, "style", 1, NULL);
    
      /* Link all elements that can be automatically linked because they have "Always" pads */
      gst_bin_add_many (GST_BIN (pipeline), audio_source, tee, audio_queue, audio_convert, audio_resample, audio_sink,
          video_queue, visual, video_convert, video_sink, NULL);
      if (gst_element_link_many (audio_source, tee, NULL) != TRUE ||
          gst_element_link_many (audio_queue, audio_convert, audio_resample, audio_sink, NULL) != TRUE ||
          gst_element_link_many (video_queue, visual, video_convert, video_sink, NULL) != TRUE) {
        g_printerr ("Elements could not be linked.\n");
        gst_object_unref (pipeline);
        return -1;
      }
    
      /* Manually link the Tee, which has "Request" pads */
      tee_audio_pad = gst_element_get_request_pad (tee, "src_%u");
      g_print ("Obtained request pad %s for audio branch.\n", gst_pad_get_name (tee_audio_pad));
      queue_audio_pad = gst_element_get_static_pad (audio_queue, "sink");
      tee_video_pad = gst_element_get_request_pad (tee, "src_%u");
      g_print ("Obtained request pad %s for video branch.\n", gst_pad_get_name (tee_video_pad));
      queue_video_pad = gst_element_get_static_pad (video_queue, "sink");
      if (gst_pad_link (tee_audio_pad, queue_audio_pad) != GST_PAD_LINK_OK ||
          gst_pad_link (tee_video_pad, queue_video_pad) != GST_PAD_LINK_OK) {
        g_printerr ("Tee could not be linked.\n");
        gst_object_unref (pipeline);
        return -1;
      }
      gst_object_unref (queue_audio_pad);
      gst_object_unref (queue_video_pad);
    
      /* Start playing the pipeline */
      gst_element_set_state (pipeline, GST_STATE_PLAYING);
    
      /* Wait until error or EOS */
      bus = gst_element_get_bus (pipeline);
      msg = gst_bus_timed_pop_filtered (bus, GST_CLOCK_TIME_NONE, GST_MESSAGE_ERROR | GST_MESSAGE_EOS);
    
      /* Release the request pads from the Tee, and unref them */
      gst_element_release_request_pad (tee, tee_audio_pad);
      gst_element_release_request_pad (tee, tee_video_pad);
      gst_object_unref (tee_audio_pad);
      gst_object_unref (tee_video_pad);
    
      /* Free resources */
      if (msg != NULL)
        gst_message_unref (msg);
      gst_object_unref (bus);
      gst_element_set_state (pipeline, GST_STATE_NULL);
    
      gst_object_unref (pipeline);
      return 0;
    }

![复制代码][48304ba5e6f9fe08f3fa1abda7d326ab.png]

保存以上代码，执行下列编译命令即可得到可执行程序：

gcc basic-tutorial-8.c -o basic-tutorial-8 `pkg-config --cflags --libs gstreamer-1.0`

## 源码分析 ##

![复制代码][48304ba5e6f9fe08f3fa1abda7d326ab.png]

/* Create the elements */
    audio_source = gst_element_factory_make ("audiotestsrc", "audio_source");
    tee = gst_element_factory_make ("tee", "tee");
    audio_queue = gst_element_factory_make ("queue", "audio_queue");
    audio_convert = gst_element_factory_make ("audioconvert", "audio_convert");
    audio_resample = gst_element_factory_make ("audioresample", "audio_resample");
    audio_sink = gst_element_factory_make ("autoaudiosink", "audio_sink");
    video_queue = gst_element_factory_make ("queue", "video_queue");
    visual = gst_element_factory_make ("wavescope", "visual");
    video_convert = gst_element_factory_make ("videoconvert", "video_convert");
    video_sink = gst_element_factory_make ("autovideosink", "video_sink");

![复制代码][48304ba5e6f9fe08f3fa1abda7d326ab.png]

首先创建所需的Element：audiotestsrc会产生测试的音频波形数据。wavescope 会将输入的音频数据转换为波形图像。audioconvert，audioresample，videoconvert保证了Pipeline中各个Element之间的数据可以互相兼容，使得Pipeline能够被正确的link起来，如果不需要对数据进行转换，这些Element会直接将数据发送到下一个Element，这种情况下的性能影响可以忽略不计。

/* Configure elements */
    g_object_set (audio_source, "freq", 215.0f, NULL);
    g_object_set (visual, "shader", 0, "style", 1, NULL);

这里修改相应Element的参数，使得输出结果更直观。“freq”会设置audiotestsrc输出波形的频率为215Hz，设置“shader”和“style”使得波形更加连续。其他的参数可以通过gst-inspect查看。

![复制代码][48304ba5e6f9fe08f3fa1abda7d326ab.png]

/* Link all elements that can be automatically linked because they have "Always" pads */
    gst_bin_add_many (GST_BIN (pipeline), audio_source, tee, audio_queue, audio_convert, audio_sink,
        video_queue, visual, video_convert, video_sink, NULL);
    if (gst_element_link_many (audio_source, tee, NULL) != TRUE ||
        gst_element_link_many (audio_queue, audio_convert, audio_sink, NULL) != TRUE ||
        gst_element_link_many (video_queue, visual, video_convert, video_sink, NULL) != TRUE) {
      g_printerr ("Elements could not be linked.\n");
      gst_object_unref (pipeline);
      return -1;
    }

![复制代码][48304ba5e6f9fe08f3fa1abda7d326ab.png]

这里我们使用gst\_element\_link\_many 将多个Element连接起来，需要注意的是，这里我们只连接了拥有Always Pad的Eelement。虽然gst\_element\_link\_many() 能够在内部处理Request Pad的情况，但我们仍然需要单独释放Request Pad，如果直接使用此函数连接所有的Element，这样容易忘记释放Request Pad。因此我们使用下面的代码单独处理Request Pad。

![复制代码][48304ba5e6f9fe08f3fa1abda7d326ab.png]

/* Manually link the Tee, which has "Request" pads */
    tee_audio_pad = gst_element_get_request_pad (tee, "src_%u");
    g_print ("Obtained request pad %s for audio branch.\n", gst_pad_get_name (tee_audio_pad));
    queue_audio_pad = gst_element_get_static_pad (audio_queue, "sink");
    tee_video_pad = gst_element_get_request_pad (tee, "src_%u");
    g_print ("Obtained request pad %s for video branch.\n", gst_pad_get_name (tee_video_pad));
    queue_video_pad = gst_element_get_static_pad (video_queue, "sink");
    if (gst_pad_link (tee_audio_pad, queue_audio_pad) != GST_PAD_LINK_OK ||
        gst_pad_link (tee_video_pad, queue_video_pad) != GST_PAD_LINK_OK) {
      g_printerr ("Tee could not be linked.\n");
      gst_object_unref (pipeline);
      return -1;
    }
    gst_object_unref (queue_audio_pad);
    gst_object_unref (queue_video_pad);

![复制代码][48304ba5e6f9fe08f3fa1abda7d326ab.png]

为了能够连接到Request Pad，我们需要主动的向Element取得相应的Pad。由于一个Element可以提供不同的Request Pad，所以我们需要指定所需的“Pad Template”，Element提供的Pad Template可以通过gst-inspect查看。从下面的结果可以发现，tee提供了2种类型的模板， ”sink“ 和“src\_%u"。

![复制代码][48304ba5e6f9fe08f3fa1abda7d326ab.png]

$ gst-inspect-1.0  tee
    ...
    Pad Templates:
      SRC template: 'src_%u'
        Availability: On request
          Has request_new_pad() function: gst_tee_request_new_pad
        Capabilities:
          ANY
    
      SINK template: 'sink'
        Availability: Always
        Capabilities:
          ANY
    ...

![复制代码][48304ba5e6f9fe08f3fa1abda7d326ab.png]

由于我们这里需要的是2个Source Pad，所以我们通过gst\_element\_get\_request\_pad (tee, "src\_%u")获取两个Request Pad分别用于audio和video。queue的Sink Pad是Alwasy Pad，所以我们直接使用gst\_element\_get\_static\_pad 获取其Sink Pad。最后再通过gst\_pad\_link()将其连接起来，在gst\_element\_link()和gst\_element\_link\_many()内部也是使用此函数连接两个Element的Pad。

*需要注意的是，我们通过Element获取到的Pad的引用计数会自动增加，因此我们需要调用gst\_object\_unref()释放相关的引用，对于Request Pad，我们需要在Pipeline执行完成后进行释放。*

/* Release the request pads from the Tee, and unref them */
    gst_element_release_request_pad (tee, tee_audio_pad);
    gst_element_release_request_pad (tee, tee_video_pad);
    gst_object_unref (tee_audio_pad);
    gst_object_unref (tee_video_pad);

除了播放完成后正常的资源释放外，我们还要对Request进行释放，需要首先调用gst\_element\_release\_request\_pad()，最后再释放相应的对象。

# 总结 #

我们在本文中了解了：

*  如何通过queue让Pipeline运行在多个线程上。
 *  如何通过gst\_element\_get\_request\_pad(), gst\_pad\_link() gst\_element\_release\_request\_pad() 对Request Pad进行操作。
 *  如何使用tee将一路媒体数据分为多路。

# 引用 #

[https://gstreamer.freedesktop.org/documentation/tutorials/basic/multithreading-and-pad-availability.html?gi-language=c][https_gstreamer.freedesktop.org_documentation_tutorials_basic_multithreading-and-pad-availability.html_gi-language_c]

作者：[John.Leng][]

出处：[http://www.cnblogs.com/xleng/][John.Leng]

本文版权归作者所有，欢迎转载。商业转载请联系作者获得授权，非商业转载请在文章页面明显位置给出原文连接.

[49ad7c7517eb36040a391a62b7b191c2.png]: /images/20221123/f4d74330483648caa44455fc31288159.png
[48304ba5e6f9fe08f3fa1abda7d326ab.png]: /images/20221123/acc851ebdce44b4c9334cca624366f4d.png
[https_gstreamer.freedesktop.org_documentation_tutorials_basic_multithreading-and-pad-availability.html_gi-language_c]: https://gstreamer.freedesktop.org/documentation/tutorials/basic/multithreading-and-pad-availability.html?gi-language=c
[John.Leng]: http://www.cnblogs.com/xleng/

发表评论取消回复

表情：

评论列表（有 0 条评论，181人围观）

还没有评论，来说两句吧...

相关阅读