hls之m3u八、ts流格式詳解

 

HLS，Http Live Streaming 是由Apple公司定義的用於實時流傳輸的協議，HLS基於HTTP協議實現，傳輸內容包括兩部分，一是M3U8描述文件，二是TS媒體文件。

一、M3U8文件

   用文本方式對媒體文件進行描述，由一系列標籤組成。

#EXTM3U

#EXT-X-TARGETDURATION:5

#EXTINF:5,

./0.ts

#EXTINF:5,

./1.ts

#EXTM3U：每一個M3U8文件第一行必須是這個tag。

#EXT-X-TARGETDURATION：指定最大的媒體段時間長度（秒），#EXTINF中指定的時間長度必須小於或等於這個最大值。該值只能出現一次。

#EXTINF：描述單個媒體文件的長度。後面爲媒體文件，如./0.ts 

 

二、ts文件

    ts文件爲傳輸流文件，視頻編碼主要格式h264/mpeg4，音頻爲acc/MP3。

   ts文件分爲三層：ts層Transport Stream、pes層 Packet Elemental Stream、es層 Elementary Stream. es層就是音視頻數據，pes層是在音視頻數據上加了時間戳等對數據幀的說明信息，ts層就是在pes層加入數據流的識別和傳輸必須的信息

注： 詳解以下

 （1）ts層     ts包大小固定爲188字節，ts層分爲三個部分：ts header、adaptation field、payload。ts header固定4個字節；adaptation field可能存在也可能不存在，主要做用是給不足188字節的數據作填充；payload是pes數據。

ts header

sync_byte	8b	同步字節，固定爲0x47
transport_error_indicator	1b	傳輸錯誤指示符，代表在ts頭的adapt域後由一個無用字節，一般都爲0，這個字節算在adapt域長度內
payload_unit_start_indicator	1b	負載單元起始標示符，一個完整的數據包開始時標記爲1
transport_priority	1b	傳輸優先級，0爲低優先級，1爲高優先級，一般取0
pid	13b	pid值
transport_scrambling_control	2b	傳輸加擾控制，00表示未加密
adaptation_field_control	2b	是否包含自適應區，‘00’保留；‘01’爲無自適應域，僅含有效負載；‘10’爲僅含自適應域，無有效負載；‘11’爲同時帶有自適應域和有效負載。
continuity_counter	4b	遞增計數器，從0-f，起始值不必定取0，但必須是連續的

     ts層的內容是經過PID值來標識的，主要內容包括：PAT表、PMT表、音頻流、視頻流。解析ts流要先找到PAT表，只要找到PAT就能夠找到PMT，而後就能夠找到音視頻流了。PAT表的PID值固定爲0。PAT表和PMT表須要按期插入ts流，由於用戶隨時可能加入ts流，這個間隔比較小，一般每隔幾個視頻幀就要加入PAT和PMT。PAT和PMT表是必須的，還能夠加入其它表如SDT（業務描述表）等，不過hls流只要有PAT和PMT就能夠播放了。

• PAT表：他主要的做用就是指明瞭PMT表的PID值。

• PMT表：他主要的做用就是指明瞭音視頻流的PID值。

• 音頻流/視頻流：承載音視頻內容。

adaption

adaptation_field_length	1B	自適應域長度，後面的字節數
flag	1B	取0x50表示包含PCR或0x40表示不包含PCR
PCR	5B	Program Clock Reference，節目時鐘參考，用於恢復出與編碼端一致的系統時序時鐘STC（System Time Clock）。
stuffing_bytes	xB	填充字節，取值0xff

     自適應區的長度要包含傳輸錯誤指示符標識的一個字節。pcr是節目時鐘參考，pcr、dts、pts都是對同一個系統時鐘的採樣值，pcr是遞增的，所以能夠將其設置爲dts值，音頻數據不須要pcr。若是沒有字段，ipad是能夠播放的，但vlc沒法播放。打包ts流時PAT和PMT表是沒有adaptation field的，不夠的長度直接補0xff便可。視頻流和音頻流都須要加adaptation field，一般加在一個幀的第一個ts包和最後一個ts包裏，中間的ts包不加。

PAT格式

table_id	8b	PAT表固定爲0x00
section_syntax_indicator	1b	固定爲1
zero	1b	固定爲0
reserved	2b	固定爲11
section_length	12b	後面數據的長度
transport_stream_id	16b	傳輸流ID，固定爲0x0001
reserved	2b	固定爲11
version_number	5b	版本號，固定爲00000，若是PAT有變化則版本號加1
current_next_indicator	1b	固定爲1，表示這個PAT表能夠用，若是爲0則要等待下一個PAT表
section_number	8b	固定爲0x00
last_section_number	8b	固定爲0x00
開始循環
program_number	16b	節目號爲0x0000時表示這是NIT，節目號爲0x0001時,表示這是PMT
reserved	3b	固定爲111
PID	13b	節目號對應內容的PID值
結束循環
CRC32	32b	前面數據的CRC32校驗碼

PMT格式

table_id	8b	PMT表取值隨意，0x02
section_syntax_indicator	1b	固定爲1
zero	1b	固定爲0
reserved	2b	固定爲11
section_length	12b	後面數據的長度
program_number	16b	頻道號碼，表示當前的PMT關聯到的頻道，取值0x0001
reserved	2b	固定爲11
version_number	5b	版本號，固定爲00000，若是PAT有變化則版本號加1
current_next_indicator	1b	固定爲1
section_number	8b	固定爲0x00
last_section_number	8b	固定爲0x00
reserved	3b	固定爲111
PCR_PID	13b	PCR(節目參考時鐘)所在TS分組的PID，指定爲視頻PID
reserved	4b	固定爲1111
program_info_length	12b	節目描述信息，指定爲0x000表示沒有
開始循環
stream_type	8b	流類型，標誌是Video仍是Audio仍是其餘數據，h.264編碼對應0x1b，aac編碼對應0x0f，mp3編碼對應0x03
reserved	3b	固定爲111
elementary_PID	13b	與stream_type對應的PID
reserved	4b	固定爲1111
ES_info_length	12b	描述信息，指定爲0x000表示沒有
結束循環
CRC32	32b	前面數據的CRC32校驗碼

（2）pes層

     pes層是在每個視頻/音頻幀上加入了時間戳等信息，pes包內容不少，咱們只留下最經常使用的。

pes start code	3B	開始碼，固定爲0x000001
stream id	1B	音頻取值（0xc0-0xdf），一般爲0xc0 視頻取值（0xe0-0xef），一般爲0xe0
pes packet length	2B	後面pes數據的長度，0表示長度不限制， 只有視頻數據長度會超過0xffff
flag	1B	一般取值0x80，表示數據不加密、無優先級、備份的數據
flag	1B	取值0x80表示只含有pts，取值0xc0表示含有pts和dts
pes data length	1B	後面數據的長度，取值5或10
pts	5B	33bit值
dts	5B	33bit值

     pts是顯示時間戳、dts是解碼時間戳，視頻數據兩種時間戳都須要，音頻數據的pts和dts相同，因此只須要pts。有pts和dts兩種時間戳是B幀引發的，I幀和P幀的pts等於dts。若是一個視頻沒有B幀，則pts永遠和dts相同。從文件中順序讀取視頻幀，取出的幀順序和dts順序相同。dts算法比較簡單，初始值 + 增量便可，pts計算比較複雜，須要在dts的基礎上加偏移量。

     音頻的pes中只有pts（同dts），視頻的I、P幀兩種時間戳都要有，視頻B幀只要pts（同dts）。打包pts和dts就須要知道視頻幀類型，可是經過容器格式咱們是沒法判斷幀類型的，必須解析h.264內容才能夠獲取幀類型。

舉例說明：

                         I          P          B          B          B          P

讀取順序：         1         2          3          4          5          6

dts順序：           1         2          3          4          5          6

pts順序：           1         5          3          2          4          6

點播視頻dts算法：

dts = 初始值 + 90000 / video_frame_rate，初始值能夠隨便指定，可是最好不要取0，video_frame_rate就是幀率，好比2三、30。

pts和dts是以timescale爲單位的，1s = 90000 time scale , 一幀就應該是90000/video_frame_rate 個timescale。

用一幀的timescale除以採樣頻率就能夠轉換爲一幀的播放時長

點播音頻dts算法：

dts = 初始值 + (90000 * audio_samples_per_frame) / audio_sample_rate，audio_samples_per_frame這個值與編解碼相關，aac取值1024，mp3取值1158，audio_sample_rate是採樣率，好比24000、41000。AAC一幀解碼出來是每聲道1024個sample，也就是說一幀的時長爲1024/sample_rate秒。因此每一幀時間戳依次0，1024/sample_rate，...，1024*n/sample_rate秒。

直播視頻的dts和pts應該直接用直播數據流中的時間，不該該按公式計算。

（3）es層

     es層指的就是音視頻數據，咱們只介紹h.264視頻和aac音頻。

h.264視頻：

     打包h.264數據咱們必須給視頻數據加上一個nalu（Network Abstraction Layer unit），nalu包括nalu header和nalu type，nalu header固定爲0x00000001（幀開始）或0x000001（幀中）。h.264的數據是由slice組成的，slice的內容包括：視頻、sps、pps等。nalu type決定了後面的h.264數據內容。

F	1b	forbidden_zero_bit，h.264規定必須取0
NRI	2b	nal_ref_idc，取值0~3，指示這個nalu的重要性，I幀、sps、pps一般取3，P幀一般取2，B幀一般取0
Type	5b	參考下表

nal_unit_type	說明
0	未使用
1	非IDR圖像片，IDR指關鍵幀
2	片分區A
3	片分區B
4	片分區C
5	IDR圖像片，即關鍵幀
6	補充加強信息單元(SEI)
7	SPS序列參數集
8	PPS圖像參數集
9	分解符
10	序列結束
11	碼流結束
12	填充
13~23	保留
24~31	未使用

     紅色字體顯示的內容是最經常使用的，打包es層數據時pes頭和es數據之間要加入一個type=9的nalu，關鍵幀slice前必需要加入type=7和type=8的nalu，並且是緊鄰。