Gstreamer官方教程彙總基本教程3---Dynamic pipelines
Goal
本教程介紹剩下的的使用GStreamer的所需的基本概念，它容許隨時地創建管道，做爲信息變得可用，而沒必要在你的應用程序的開頭定義一個全局的管道。html
本教程後，您將具有必要的知識，開始 Playback tutorials。這個教程將討論的是：ios
如何在連接元素時進行更好的控制。程序員
有興趣的事件如何獲得通知，以便您能及時做出反應。web
一個元素能夠有的不一樣的狀態ide
Introduction
正如你將要看到的，本教程中的管道沒有徹底建成以前，它被設置爲播放狀態。這是肯定。若是咱們不採起進一步行動，數據將達到管道的末端，只是被丟棄。可是，咱們要採起進一步行動...函數
在這個例子中，咱們打開一個複合（或複用）的文件，這就是，音頻和視頻是一塊兒存放在一個容器文件裏面。負責開這樣的容器被稱爲分路器（demuxers）的元素，一些這樣容器格式的例子是的Matroska（MKV），Quick Time（QT，MOV），OGG，或Advanced Systems Format（ASF，WMV，WMA）。學習
若是容器嵌入多個數據流（一個視頻和兩個音頻軌道，例如），分路器將它們分開，並經過不一樣的輸出端口揭露他們。以這種方式，不一樣的分支能夠在管道中被建立，處理不一樣類型的數據。ui
經過它的GStreamer元件彼此連通的端口稱爲襯墊（GstPad）。存在接收端襯墊（sink pads），經過它數據進入一個元素，和源襯墊（source pads），經過它數據可退出一個元素。這是很天然的，源元件只包含源襯墊，接收端元件只包含接收端襯墊和過濾元件包含二者。this
圖1。 GStreamer的元素及其襯墊。spa
一個分路器包含一個接收端襯墊，經過分路器，當複合數據到達，配合多個源襯墊，每一個流都找到對應的容器：
圖2。一個分路器有兩個來源襯墊。
爲了完整起見，在這裏你有一個包含分路器和兩個分支，一個用於音頻，一個用於視頻的簡化管道。這不是將建在這個例子中的管道：
圖3。例如管道有兩個分支。
當使用分路器處理的主要複雜性在於，分路器不能產生任何信息，直到他們已經收到了一些數據，並有機會看看容器，看看裏面是什麼。這是，分路器開始的時候沒有可讓其餘元件連接的源襯墊，所以管道必然終止於它們。
解決的辦法是創建一個從源元件向下到分路器的管道，並將其設置爲運行（播放）。當分路器已經得到了足夠的信息，以瞭解在容器內的流的數量和種類，它會開始建立源襯墊。這是一個合適的時間，咱們完成建設管道，並將其附加到新添加的分路器襯墊。
爲簡單起見，在此示例中，咱們將只連接到音頻墊，並忽略該視頻。
Dyamic Hello World
將此代碼複製到名爲basic-tutorial-3.c的一個文本文件
#include <gst/gst.h>
/* Structure to contain all our information, so we can pass it to callbacks */
typedef struct _CustomData {
GstElement *pipeline;
GstElement *source;
GstElement *convert;
GstElement *sink;
} CustomData;
/* Handler for the pad-added signal */
static void pad_added_handler (GstElement *src, GstPad *pad, CustomData *data);
int main(int argc, char *argv[]) {
CustomData data;
GstBus *bus;
GstMessage *msg;
GstStateChangeReturn ret;
gboolean terminate = FALSE;
/* Initialize GStreamer */
gst_init (&argc, &argv);
/* Create the elements */
data.source = gst_element_factory_make ("uridecodebin", "source");
data.convert = gst_element_factory_make ("audioconvert", "convert");
data.sink = gst_element_factory_make ("autoaudiosink", "sink");
/* Create the empty pipeline */
data.pipeline = gst_pipeline_new ("test-pipeline");
if (!data.pipeline || !data.source || !data.convert || !data.sink) {
g_printerr ("Not all elements could be created.\n");
return -1;
}
/* Build the pipeline. Note that we are NOT linking the source at this
* point. We will do it later. */
gst_bin_add_many (GST_BIN (data.pipeline), data.source, data.convert , data.sink, NULL);
if (!gst_element_link (data.convert, data.sink)) {
g_printerr ("Elements could not be linked.\n");
gst_object_unref (data.pipeline);
return -1;
}
/* Set the URI to play */
g_object_set (data.source, "uri", "http://docs.gstreamer.com/media/sintel_trailer-480p.webm", NULL);
/* Connect to the pad-added signal */
g_signal_connect (data.source, "pad-added", G_CALLBACK (pad_added_handler), &data);
/* Start playing */
ret = gst_element_set_state (data.pipeline, GST_STATE_PLAYING);
if (ret == GST_STATE_CHANGE_FAILURE) {
g_printerr ("Unable to set the pipeline to the playing state.\n");
gst_object_unref (data.pipeline);
return -1;
}
/* Listen to the bus */
bus = gst_element_get_bus (data.pipeline);
do {
msg = gst_bus_timed_pop_filtered (bus, GST_CLOCK_TIME_NONE,
GST_MESSAGE_STATE_CHANGED | GST_MESSAGE_ERROR | GST_MESSAGE_EOS);
/* Parse message */
if (msg != NULL) {
GError *err;
gchar *debug_info;
switch (GST_MESSAGE_TYPE (msg)) {
case GST_MESSAGE_ERROR:
gst_message_parse_error (msg, &err, &debug_info);
g_printerr ("Error received from element %s: %s\n", GST_OBJECT_NAME (msg->src), err->message);
g_printerr ("Debugging information: %s\n", debug_info ? debug_info : "none");
g_clear_error (&err);
g_free (debug_info);
terminate = TRUE;
break;
case GST_MESSAGE_EOS:
g_print ("End-Of-Stream reached.\n");
terminate = TRUE;
break;
case GST_MESSAGE_STATE_CHANGED:
/* We are only interested in state-changed messages from the pipeline */
if (GST_MESSAGE_SRC (msg) == GST_OBJECT (data.pipeline)) {
GstState old_state, new_state, pending_state;
gst_message_parse_state_changed (msg, &old_state, &new_state, &pending_state);
g_print ("Pipeline state changed from %s to %s:\n",
gst_element_state_get_name (old_state), gst_element_state_get_name (new_state));
}
break;
default:
/* We should not reach here */
g_printerr ("Unexpected message received.\n");
break;
}
gst_message_unref (msg);
}
} while (!terminate);
/* Free resources */
gst_object_unref (bus);
gst_element_set_state (data.pipeline, GST_STATE_NULL);
gst_object_unref (data.pipeline);
return 0;
}
/* This function will be called by the pad-added signal */
static void pad_added_handler (GstElement *src, GstPad *new_pad, CustomData *data) {
GstPad *sink_pad = gst_element_get_static_pad (data->convert, "sink");
GstPadLinkReturn ret;
GstCaps *new_pad_caps = NULL;
GstStructure *new_pad_struct = NULL;
const gchar *new_pad_type = NULL;
g_print ("Received new pad '%s' from '%s':\n", GST_PAD_NAME (new_pad), GST_ELEMENT_NAME (src));
/* If our converter is already linked, we have nothing to do here */
if (gst_pad_is_linked (sink_pad)) {
g_print (" We are already linked. Ignoring.\n");
goto exit;
}
/* Check the new pad's type */
new_pad_caps = gst_pad_get_caps (new_pad);
new_pad_struct = gst_caps_get_structure (new_pad_caps, 0);
new_pad_type = gst_structure_get_name (new_pad_struct);
if (!g_str_has_prefix (new_pad_type, "audio/x-raw")) {
g_print (" It has type '%s' which is not raw audio. Ignoring.\n", new_pad_type);
goto exit;
}
/* Attempt the link */
ret = gst_pad_link (new_pad, sink_pad);
if (GST_PAD_LINK_FAILED (ret)) {
g_print (" Type is '%s' but link failed.\n", new_pad_type);
} else {
g_print (" Link succeeded (type '%s').\n", new_pad_type);
}
exit:
/* Unreference the new pad's caps, if we got them */
if (new_pad_caps != NULL)
gst_caps_unref (new_pad_caps);
/* Unreference the sink pad */
gst_object_unref (sink_pad);
}
逐步解說
/* Structure to contain all our information, so we can pass it to callbacks */
typedef struct _CustomData {
GstElement *pipeline;
GstElement *source;
GstElement *convert;
GstElement *sink;
} CustomData;
到目前爲止，咱們已經保留了全部咱們須要的信息（指針 GstElement）爲局部變量。因爲本教程（以及大多數實際應用）涉及的回調，咱們將彙集咱們全部的數據到一個結構體，這樣咱們更容易處理。
/* Handler for the pad-added signal */ static void pad_added_handler (GstElement *src, GstPad *pad, CustomData *data);
這是一個超前的引用，呆會用。
/* Create the elements */
data.source = gst_element_factory_make ("uridecodebin", "source");
data.convert = gst_element_factory_make ("audioconvert", "convert");
data.sink = gst_element_factory_make ("autoaudiosink", "sink");
咱們建立的元素像往常同樣。 uridecodebin 將在內部實例化全部必要的元素（源，分路器和解碼器），把一個URI轉換到原始音頻和/或視頻流。它作了一半 playbin2 作的工做。由於它包含分路器，它的源襯墊最初不可用，咱們須要在運行時連接他們。
audioconvert 是爲不一樣的音頻格式之間進行轉換，並確認此示例將工做在任何平臺上，因爲由音頻解碼器生成的格式可能和接收端所指望是不同的。
autoaudiosink 至關於在前面的教程中看到的 autovideosink ，用於音頻。它將呈現音頻流的音頻卡。
if (!gst_element_link (data.convert, data.sink)) {
g_printerr ("Elements could not be linked.\n");
gst_object_unref (data.pipeline);
return -1;
}
在這裏，咱們的轉換器元件鏈接到接收元件，但咱們不將它們與源元件連接，由於在這一點上它不包含源襯墊。咱們剛剛離開這個無關聯的分支（轉換器+接收器），直到後來。
/* Set the URI to play */ g_object_set (data.source, "uri", "http://docs.gstreamer.com/media/sintel_trailer-480p.webm", NULL);
咱們經由結構體的屬性來設置將要播放的文件的URI，就像咱們在之前的教程中所做的同樣。
Signals
/* Connect to the pad-added signal */ g_signal_connect (data.source, "pad-added", G_CALLBACK (pad_added_handler), &data);
GSignals 是GStreamer中的一個關鍵點。它們容許你被告知（用回調方式）， 當你感興趣的事情發生時。信號由名稱標識，而且每一個圖形對象（GObject）都有它本身的信號。
在這條線，咱們將 「pad-added」綁定到咱們的源元件（ uridecodebin 元素）。要作到這一點，咱們使用 g_signal_connect()，並提供了回調函數中使用（pad_added_handler）和一個數據指針。 GStreamer對此數據的指針什麼也不作，它只是將其轉發給回調，因此咱們能夠用它共享信息。在這種狀況下，咱們經過一個指針的CustomData結構，專門用於這一目的。
一個GstElement產生的信號能夠在它的文檔裏看到，或者用gst-inspect tool找到 ，詳見 Basic tutorial 10: GStreamer tools。
如今，咱們準備好了！剛剛成立的管道爲播放狀態，並開始監聽總線有趣的信息（如錯誤或EOS），就像在前面的教程。
The callback
當咱們的源元件終於有了足夠的信息來開始生產數據時，它會建立源襯墊，並引起了「pad-added」的信號。在這一點上咱們的回調會被調用：
static void pad_added_handler (GstElement *src, GstPad *new_pad, CustomData *data) {
src是觸發信號的GstElement。在這個例子中，它只能是 uridecodebin，由於它是咱們所鏈接的惟一信號。
new_pad是剛剛被加入到源元件的 GstPad 。這一般是咱們想要連結墊。
數據是咱們鏈接到信號時提供的指針。在這個例子中，咱們用它來傳遞的CustomData指針。
GstPad *sink_pad = gst_element_get_static_pad (data->convert, "sink");
從CustomData咱們提取轉換器元件，而後用 gst_element_get_static_pad () 檢索其接收槽墊。這是咱們想要與new_pad連結的襯墊。在前面的教程中，咱們聯元素對元素，讓GStreamer中選擇適當的襯墊。如今，咱們要直接鏈接襯墊。
/* If our converter is already linked, we have nothing to do here */
if (gst_pad_is_linked (sink_pad)) {
g_print (" We are already linked. Ignoring.\n");
goto exit;
}
uridecodebin 能夠建立任意多個它認爲合適襯墊，對於每個，這個回調函數會被調用。這行代碼會阻止咱們試圖連接到一個新的襯墊，一旦咱們已經連接。
/* Check the new pad's type */
new_pad_caps = gst_pad_get_caps (new_pad);
new_pad_struct = gst_caps_get_structure (new_pad_caps, 0);
new_pad_type = gst_structure_get_name (new_pad_struct);
if (!g_str_has_prefix (new_pad_type, "audio/x-raw")) {
g_print (" It has type '%s' which is not raw audio. Ignoring.\n", new_pad_type);
goto exit;
}
如今，咱們將檢查數據這個新墊是要輸出，類型，由於咱們只關心墊製做音頻。以前咱們已經建立了一個管道處理音頻（與 autoaudiosink 連接的 audioconvert ），而咱們將沒法將其連接到製做視頻的襯墊，在這個例子中。
gst_pad_get_caps() 獲取襯墊的功能（這是，它支持的數據類型），裹在 GstCaps 結構中。襯墊能夠提供許多功能，所以 GstCaps 能夠包含許多 GstStructure，各自表明不一樣的功能。
由於，在這種狀況下，咱們知道咱們想要的襯墊只有一個功能（音頻），咱們取第一個 GstStructure 與 gst_caps_get_structure()。
最後，用 gst_structure_get_name() ，咱們從新得到結構的名稱，其中包含格式的主要描述（其MIME類型，實際上）。
若是名稱不是以/ X-RAW開頭，這不是一個解碼音頻的襯墊，咱們不感興趣。
不然，嘗試連接：
/* Attempt the link */
ret = gst_pad_link (new_pad, sink_pad);
if (GST_PAD_LINK_FAILED (ret)) {
g_print (" Type is '%s' but link failed.\n", new_pad_type);
} else {
g_print (" Link succeeded (type '%s').\n", new_pad_type);
}
gst_pad_link() 嘗試鏈接兩個襯墊。他們本質和 gst_element_link() 同樣，連接必須從源頭指向接收端，兩個襯墊必須由屬於同一箱櫃（bin）（或管道pipeline）的元素所擁有。
咱們正在作的！當合適的墊出現時，它會鏈接到音頻處理管道和執行其他部分，直到錯誤或EOS。然而，咱們將從本教程榨取更多的內容，還推出了狀態的概念。
GStreamer States
咱們已經討論了一些狀態，當咱們說，playback不能開始播放，直到你把管道輸送到PLAYING狀態。咱們將在這裏介紹餘下的狀態和它們的含義。有4個狀態的GStreamer：
| NULL | 元素的空狀態或初始狀態。 |
| READY | 該元素是準備去暫停。 |
| PAUSED | 元素暫停時，它已準備好接受和處理數據。接收端元素但只接受一個緩衝區，而後阻塞。 |
| PLAYING | 元素正在播放時，時鐘運行和數據流動。 |
您只能在相鄰的兩個狀態間切換，這是，你不能從 NULL 換到 PLAYING，你必需要通過 READY 和 PAUSED 狀態。若是您將管道設置爲 PLAYING 狀態，不過，GStreamer將會使中間件爲您服務。
case GST_MESSAGE_STATE_CHANGED:
/* We are only interested in state-changed messages from the pipeline */
if (GST_MESSAGE_SRC (msg) == GST_OBJECT (data.pipeline)) {
GstState old_state, new_state, pending_state;
gst_message_parse_state_changed (msg, &old_state, &new_state, &pending_state);
g_print ("Pipeline state changed from %s to %s:\n",
gst_element_state_get_name (old_state), gst_element_state_get_name (new_state));
}
break;
咱們增長了這片偵聽關於狀態變化的總線消息的代碼，並將它們打印在屏幕上，以幫助您瞭解的轉換代碼。每個元素將關於它的當前狀態的消息放在總線上，因此咱們篩選出來，只收聽從管道過來的消息。
大多數應用程序只須要關注從 PLAYING 到開始播放，而後 PAUSE 執行暫停，而後再返回到空，在程序退出時釋放全部的資源。
Exercise
動態襯墊連接從來是一個困難的話題，對於不少程序員來講。證實你已經經過實例化 autovideosink （可能與前面的 ffmpegcolorspace ），在右邊襯墊出現時，掌握如何將其連接到分路器。提示：你已經在視頻襯墊類型的屏幕上打印了。
您如今應該看到（和聽到）同一教程中的 Basic tutorial 1: Hello world! 。在此教程中，您使用 playbin2，這是一個方便的元素，它會爲您自動處理全部的分路和襯墊連接。大多數的 Playback tutorials 致力於 playbin2。
Conclusion
在本教程中，您學習了：
您還結合這些條目，以創建一個動態的管道，這不是在程序開始處的定義，而是做爲媒體方面的可用信息被創造。如今，您能夠繼續使用的基本教程，瞭解執行的目的和時間相關的查詢的 Basic tutorial 4: Time management ，並得到有關 playbin2 元素更深刻的瞭解。
請記住，此頁你應該找到本教程的完整源代碼，並創建它須要的任何附件文件。
很高興在此與你一塊兒度過，並但願在之後的教程繼續見到你！
- 1. Gstreamer官方教程彙總2---GStreamer concepts
- 2. Gstreamer官方教程彙總基本教程5---GUI toolkit integration
- 3. Gstreamer官方教程彙總基本教程4---Time management
- 4. Gstreamer官方教程彙總1---Hello World
- 5. Gstreamer官方教程彙總1---Hello World 示例
- 6. GStreamer基礎教程
- 7. Nexus 5 官方使用教程彙總
- 8. GStreamer基礎教程02 - 基本概念
- 9. GStreamer基礎教程10——GStreamer工具
- 10. Gstreamer基礎教程10 - Streaming
- 更多相關文章...
- • Maven 教程 - Maven教程
- • Lua 教程 - Lua 教程
- • Java 8 Stream 教程
- • YAML 入門教程
-
每一个你不满意的现在，都有一个你没有努力的曾经。
- 1. 升級Gradle後報錯Gradle‘s dependency cache may be corrupt (this sometimes occurs
- 2. Smarter, Not Harder
- 3. mac-2019-react-native 本地環境搭建(xcode-11.1和android studio3.5.2中Genymotion2.12.1 和VirtualBox-5.2.34 )
- 4. 查看文件中關鍵字前後幾行的內容
- 5. XXE萌新進階全攻略
- 6. Installation failed due to: ‘Connection refused: connect‘安卓studio端口占用
- 7. zabbix5.0通過agent監控winserve12
- 8. IT行業UI前景、潛力如何？
- 9. Mac Swig 3.0.12 安裝
- 10. Windows上FreeRDP-WebConnect是一個開源HTML5代理，它提供對使用RDP的任何Windows服務器和工作站的Web訪問
- 1. Gstreamer官方教程彙總2---GStreamer concepts
- 2. Gstreamer官方教程彙總基本教程5---GUI toolkit integration
- 3. Gstreamer官方教程彙總基本教程4---Time management
- 4. Gstreamer官方教程彙總1---Hello World
- 5. Gstreamer官方教程彙總1---Hello World 示例
- 6. GStreamer基礎教程
- 7. Nexus 5 官方使用教程彙總
- 8. GStreamer基礎教程02 - 基本概念
- 9. GStreamer基礎教程10——GStreamer工具
- 10. Gstreamer基礎教程10 - Streaming