C++實現RTMP協議發送H.264編碼及AAC編碼的音視頻

C++實現RTMP協議發送H.264編碼及AAC編碼的音視頻

　　RTMP（Real Time Messaging Protocol）是專門用來傳輸音視頻數據的流媒體協議，最初由Macromedia 公司建立，後來歸Adobe公司全部，是一種私有協議，主要用來聯繫Flash Player和RtmpServer，如FMS, Red5, crtmpserver等。RTMP協議可用於實現直播、點播應用，經過FMLE（Flash Media Live Encoder）推送音視頻數據至RtmpServer，可實現攝像頭實時直播。不過，畢竟FMLE應用範圍有限，想要把它嵌入到本身的程序中，仍是要本身來實現RTMP協議的推送。本人實現了一個RTMPLiveEncoder，經過採集攝像頭視頻和麥克風音頻，並進行H.264和AAC編碼，而後發送到FMS和crtmpserver上，實現實時直播，能夠經過flash player正常觀看，目前效果良好，延遲時間在2秒左右。本文就介紹一下RTMPLiveEncoder的主要思路和關鍵點，以期對須要這方面技術的朋友有所幫助。

技術分析

　　要實現RTMPLiveEncoder，須要如下四種關鍵技術：

• 採集攝像頭視頻和麥克風音頻
• H264編碼和AAC編碼
• 視頻和音頻數據封裝爲可被流媒體服務器識別的可播放流
• RTMP協議實現報文發送

　　其中，前兩項技術在我以前的文章「採集音頻和攝像頭視頻並實時H264編碼和AAC編碼」中已經介紹過了，這裏就再也不囉嗦了。

　　把音視頻數據封裝爲可播放流，這個是一個難點。仔細研究一下，你會發現，RTMP Packet中封裝的音視頻數據流，其實和FLV封裝音頻和視頻數據的方式是相同的，因此，咱們只須要按照FLV封裝H264和AAC的方式，便可生成可播放流。

　　咱們再看一下RTMP協議。Adobe曾經發布過一份文檔《RTMP Specification》，不過wikipedia指出這份文檔隱藏了不少細節，單獨根據它是沒法正確實現RTMP的。不過，它仍是有參考意義的。其實Adobe發佈以前，RTMP協議就已經被破解的差很少了，如今也已經有比較完善的實現，好比：RTMPDump，它提供的是C語言的接口，這意味着能夠很方便的在其餘語言中調用。

程序框架

　　與我以前寫的「採集音頻和攝像頭視頻並實時H264編碼和AAC編碼」這篇文章相同，採用DirectShow技術來實現音視頻採集，音頻編碼和視頻編碼，在各自線程（AudioEncoderThread和VideoEncoderThread）中循環進行，RTMP的推送另起一個線程（RtmpThread）。兩個編碼線程實時編碼音視頻數據後，將數據交與Rtmp線程，由Rtmp線程循環封裝爲Rtmp Packet，而後發出去。

　　線程之間的數據交換，經過一個隊列DataBufferQueue來實現。AudioEncoderThread和VideoEncoderThread把數據指針post到DataBufferQueue以後，當即返回，這樣就能夠避免由於發送Rtmp報文的而影響到編碼線程的正常執行時間。

    

　　RtmpThread的主要工做就是發送音頻數據流的解碼信息頭和視頻數據流的解碼信息頭，並不斷從DataBufferQueue中取出數據，封裝爲RTMP Packet，發送出去。流程以下列代碼所示：（process_buf_queue_，便是上圖中的DataBufferQueue）

librtmp

1、編譯librtmp

　　下載rtmpdump的代碼，你會發現，它是一個地道的linux項目，除了一個簡單的Makefile，其餘什麼都沒有。好像librtmp不依賴於系統，咱們能夠不用費太多功夫，把它在windows上編譯。不過，librtmp依賴於openssl和zlib，咱們須要首先編譯好它們。

　　1. 編譯openssl1.0.0e

　　a) 下載並安裝ActivePerl

　　b) 下載並安裝nasm(http://nasm.sourceforge.net/)

　　c) 解壓openssl壓縮包

　　d) 運行cmd命令行，切到openssl目錄，分別執行如下命令

>perl Configure VC-WIN32 --prefix=c:\some\dir
>ms\do_nasm

　　e) 運行Visual Studio Command Prompt(2010)，切到openssl目錄，分別執行如下命令。

>nmake -f ms\nt.mak
>nmake -f ms\nt.mak install

　　f) 編譯完畢後，便可在第一個命令所指定的目錄下發現編譯好的sdk。

　　2. 編譯zlib

　　a) 解壓zlib壓縮包

　　b) 運行Visual Studio Command Prompt(2010)，切到openssl目錄，分別執行如下命令

>cd contrib\masmx86
>bld_ml32.bat

　　c) 回到zlib目錄，進入contrib\vstudio\vc10目錄，打開vs2010解決方案文件，

　　   在zlibstat工程屬性中，去掉預編譯宏 ZLIB_WINAPI

　　d) 選擇debug或release編譯便可

　　3. 編譯librtmp

　　a) 首先打開visual studio 2010，新建一個win32 console工程，指定爲靜態連接庫

　　b) 將librtmp的代碼導入工程，把openssl、zlib的頭文件和librtmp放在一塊兒，把編譯好的openssl和zlib的靜態庫放在一塊兒

        

　　c) 在工程設置中，添加以前編譯好的openssl和zlib的庫，編譯便可。

    

2、librtmp的使用

　　首先初始化RTMP結構

　　開始以後，就要向RTMP Server發起握手鍊接報文

　　鏈接成功，就能夠開始循環發送報文了，這裏須要指定時戳和數據類型（Audio、Video、Metadata）。這裏有一點須要注意的是，在調用Send以前，buf中的數據，必須是已經封裝好的H264或AAC數據流。

　　關閉

　　最後是釋放

 

H264和AAC數據流

　　本文提到過，RTMP推送的音視頻流的封裝形式和FLV格式類似，由此可知，向FMS推送H264和AAC直播流，須要首先發送"AVC sequence header"和"AAC sequence header"，這兩項數據包含的是重要的編碼信息，沒有它們，解碼器將沒法解碼。

　　AVC sequence header就是AVCDecoderConfigurationRecord結構，該結構在標準文檔「ISO-14496-15 AVC file format」中有詳細說明。

    

　　AAC sequence header存放的是AudioSpecificConfig結構，該結構則在「ISO-14496-3 Audio」中描述。AudioSpecificConfig結構的描述很是複雜，這裏我作一下簡化，事先設定要將要編碼的音頻格式，其中，選擇"AAC-LC"爲音頻編碼，音頻採樣率爲44100，因而AudioSpecificConfig簡化爲下表：

    

　　這樣，AVC sequence header和AAC sequence header的內容能夠基本肯定了，更詳細的信息，你們能夠去翻閱相關文檔。

    

運行效果

　　RtmpLiveEncoder開始運行

    

　　用FMS自帶的一個flash播放器播放