HTTP Live Streaming直播(iOS直播)技術分析與實現

 

不經意間發現，大半年沒寫博客了，自覺汗顏。實則2012後半年，家中的事同樣接着同樣發生，實在是沒有時間。快過年了，總算忙裏偷閒，把最近的一些技術成果，總結成了文章，與你們分享。

在線直播例子

　　前些日子，也是項目須要，花了一些時間研究了HTTP Live Streaming（HLS）技術，並實現了一個HLS編碼器HLSLiveEncoder，固然，C++寫的。其功能是採集攝像頭與麥克風，實時進行H.264視頻編碼和AAC音頻編碼，並按照HLS的協議規範，生成分段的標準TS文件以及m3u8索引文件。經過個人HLSLiveEncoder和第三方Http服務器（例如：Nginx），成功實現了HTTP Live Streaming直播，並在iphone上測試經過。我就把這當中的一些收穫寫在這裏。

HLS技術要點分析

　　HTTP Live Streaming（HLS）是蘋果公司(Apple Inc.)實現的基於HTTP的流媒體傳輸協議，可實現流媒體的直播和點播，主要應用在iOS系統，爲iOS設備（如iPhone、iPad）提供音視頻直播和點播方案。HLS點播，基本上就是常見的分段HTTP點播，不一樣在於，它的分段很是小。要實現HLS點播，重點在於對媒體文件分段，目前有很多開源工具可使用，這裏我就再也不討論，只談HLS直播技術。

　　相對於常見的流媒體直播協議，例如RTMP協議、RTSP協議、MMS協議等，HLS直播最大的不一樣在於，直播客戶端獲取到的，並非一個完整的數據流。HLS協議在服務器端將直播數據流存儲爲連續的、很短時長的媒體文件（MPEG-TS格式），而客戶端則不斷的下載並播放這些小文件，由於服務器端老是會將最新的直播數據生成新的小文件，這樣客戶端只要不停的按順序播放從服務器獲取到的文件，就實現了直播。因而可知，基本上能夠認爲，HLS是以點播的技術方式來實現直播。因爲數據經過HTTP協議傳輸，因此徹底不用考慮防火牆或者代理的問題，並且分段文件的時長很短，客戶端能夠很快的選擇和切換碼率，以適應不一樣帶寬條件下的播放。不過HLS的這種技術特色，決定了它的延遲通常老是會高於普通的流媒體直播協議。

　　根據以上的瞭解要實現HTTP Live Streaming直播，須要研究並實現如下技術關鍵點

1. 採集視頻源和音頻源的數據
2. 對原始數據進行H264編碼和AAC編碼
3. 視頻和音頻數據封裝爲MPEG-TS包
4. HLS分段生成策略及m3u8索引文件
5. HTTP傳輸協議

　　其中第1點和第2點，我以前的文章中已經提到過了，而最後一點，咱們能夠藉助現有的HTTP服務器，因此，實現第3點和第4點是關鍵所在。

程序框架與實現          

　　經過以上分析，實現HLS LiveEncoder直播編碼器，其邏輯和流程基本上很清楚了：分別開啓音頻與視頻編碼線程，經過DirectShow（或其餘）技術來實現音視頻採集，隨後分別調用libx264和libfaac進行視頻和音頻編碼。兩個編碼線程實時編碼音視頻數據後，根據自定義的分片策略，存儲在某個MPEG-TS格式分段文件中，當完成一個分段文件的存儲後，更新m3u8索引文件。以下圖所示：

  

　　上圖中HLSLiveEncoder當收到視頻和音頻數據後，須要首先判斷，當前分片是否應該結束，並建立新分片，以延續TS分片的不斷生成。須要注意的是，新的分片，應當從關鍵幀開始，防止播放器解碼失敗。核心代碼以下所示：

  

　　TsMuxer的接口也是比較簡單的。

    

HLS分段生成策略和m3u8   

1. 分段策略

• HLS的分段策略，基本上推薦是10秒一個分片，固然，具體時間還要根據分好後的分片的實際時長作標註
• 一般來講，爲了緩存等方面的緣由，在索引文件中會保留最新的三個分片地址，以相似「滑動窗口」的形式，進行更新。

2. m3u8文件簡介

　　m3u8，是HTTP Live Streaming直播的索引文件。m3u8基本上能夠認爲就是.m3u格式文件，區別在於，m3u8文件使用UTF-8字符編碼。

#EXTM3U                     m3u文件頭，必須放在第一行
#EXT-X-MEDIA-SEQUENCE 第一個TS分片的序列號 #EXT-X-TARGETDURATION 每一個分片TS的最大的時長 #EXT-X-ALLOW-CACHE 是否容許cache #EXT-X-ENDLIST m3u8文件結束符 #EXTINF extra info，分片TS的信息，如時長，帶寬等

　　一個簡單的m3u8索引文件

    

運行效果          

　　在Nginx工做目錄下啓動HLSLiveEncoder，並用VLC播放器鏈接播放

     

　　經過iPhone播放的效果

     HTTP Live Streaming直播(iOS直播)技術分析與實現

 

+++++++++++++++++++++++++++++++++++++++