Android視頻開發進階(part4-自適應視頻播放技術(Adaptive Streaming))

很久沒有更新了，此次來簡單的介紹一下自適應視頻播放的相關技術。

說到自適應視頻播放(Adaptive Streaming)，網上的資料很少，能夠供你們測試的視頻播放器也沒有多少，因此不少朋友都無從下手學習。此次來給你們分享一下自適應視頻播放技術的基礎原理，具體實現能夠參考Exoplayer的源碼，這篇文章也會稍微介紹一下。

---

1.自適應視頻播放技術的原理

首先，咱們所謂的自適應視頻播放技術中的自適應，適應的究竟是什麼呢？

在在線視頻播放中，最重要的一個要素應該就屬於客戶端的網絡情況了，若是網絡情況不好，俗稱的網速很慢，那麼你們通常的體驗都是視頻很卡，看一會就停一會。那麼有沒有可能讓咱們的播放器自動檢測網絡情況，在網絡差的狀況下播放清晰度較差，數據量較小的視頻，當網絡狀況變得好的時候播放清晰度好，可是數據量大的視頻呢？

哈哈答案是確定的，自適應視頻播放技術就解決了這個問題。先給你們看一個前端播放器的示意圖。

一般來說，自適應播放技術通常包括前端的支持還有後臺的支持，後臺提供一個索引表(Manifest)，上面記錄了同一個視頻不一樣清晰度的版本的Url（好比視頻的240p，480p，720p不一樣的版本文件）。前端的播放器在拿到這個索引表以後，會根據自身的網絡狀態，在不一樣清晰度直接的視頻文件轉換。

就如上圖所示，橫軸是時間，豎軸是清晰度。在示例裏面，咱們有三種不一樣清晰度的視頻文件，同時每一個視頻文件通常是切割成以五秒或者十秒爲一個單位的塊(Chunk)，每次播放器加載播放都是以塊爲單位。

因此說到底，自適應視頻並非同一個容器文件(container)裏面封裝了全部視頻軌道數據(固然理論上來講也不是不行),而是根據索引表的內容，和自身網絡的下載速度決定播放哪個具體的容器文件罷了。

---

2.自適應視頻播放的規範

如今市面上的Adaptive Streaming確定以🍎的HLS，還有另外一個叫DASH的規範最爲流行，咱們此次以DASH這個規範來深刻了解一下自適應視頻播放的一些細節。

2.1 DASH裏面的MPD文件

MPD文件格式，就是咱們在第一部分中說到的索引表Manifest了(HLS對應的索引表格式叫M3u8),它包含了全部DASH自適應視頻的信息。 咱們以一個mpd爲例子，點擊這裏下載。

讓咱們用xml reader來看看具體裏面有什麼內容:

2.1.1 adaptionset

每一個mpd文件都會有至少一個adaptionset,用來記錄音頻/視頻文件們的位置，如上圖所示，該MPd有兩組數據，一組是視頻，一組是音頻

2.1.2 representation

每一個adaptionset裏面又會有多個representation，每個representation其實就是表明了一個分辨率的視頻（或者音頻，這裏主要以視頻講解爲主）。最重要的三個參數我都打上了註解，注意到視頻的url是相對Url，也就是相對於該mpd文件的位置。好比第一個mp4文件絕對地址就是mpd的path+file name = http://yt-dash-mse-test.commondatastorage.googleapis.com/media/car-20120827-88.mp4

2.2 DASH對播放器行爲的規範

mpd文件相信你們也有大體的瞭解了，那麼播放器既然有了mpd文件，那怎麼進行視頻文件的選擇呢？

其實很簡單，你們都看到了不一樣的representation都有一個bandwith的參數，這個參數規定了要使用該視頻文件的最低帶寬（若是沒記錯應該是以bit爲單位。

以上述mpd爲例，視頻分辨率由高到低的bandwith排列是:4190760 bit（4.2MB/s） ,2073921 bit(2.1 MB/s) , 869460 bit(0.9MB/s)....... 播放器每下載一些內容，都會計算當前的下載速度，而後根據當前的下載速度，從最高的分辨率開始，一路遍歷直到找到合適的視頻文件。

這裏附上一段ExoPlayer的源代碼，能夠更加清晰的瞭解播放器怎麼選擇不一樣分辨率(其實代碼很是的簡單)

2.3 DASH - Fragmented MP4

咱們在第一部分說過，自適應視頻的文件會被切割成塊，可是貌似咱們看到的都是完整的mp4文件呀，說好的切割呢？

在DASH規範中，每一個mp4都不是普通的mp4，而是一種叫Fragmented Mp4，中文能夠翻譯爲分段式MP4文件。它的特殊之處在於，通常的mp4視頻都是一個moov header，後面跟上一組mdat數據(不清楚文件結構能夠參考個人第一篇文章)，而fragmented MP4則會將視頻數據分爲多個mdat塊。

咱們用mp4 parser 來分析一下

上圖是一個普通的mp4文件

上圖則是一個分段式的mp4文件，咱們能夠看到文件的mdat被分爲了若干塊，同時還有多一個sdix header，這個header記錄了每一個mdat的位置和相應的大小，和時間的長度(通常每一個mdat的時間長度都同樣，爲若干秒)

此次就稍微分享一下自適應視頻的大概原理，具體的技術，例如播放器如何進行下載的控制，下載單位是什麼，等等會在以後對ExoPlayer源碼的分析中分享，若是有着急的問題能夠留言。

2.小結

其實根據上面的分析，咱們已經對自適應視頻(Adaptive Streaming)有了初步的瞭解，也能夠說在這個技術上，其實並不存在什麼黑科技，在視頻處理的過程的MPD文件，也就是Manifest，包含了全部在轉換分辨率時的信息，播放器只須要把這個MPD保存起來，就能夠根據當前的下載速度作對應分辨率的選擇。至於

1.播放器的下載Chunk的策略如何？多線程下載仍是單線程下載？

2.初始Chunk的數量(緩存多少個Chunk能夠開始播放)

3.播放器的Chunk拋棄策略如何？好比當前已經下載了0-2號的Chunk，結果用戶快進了100秒，那是丟棄當前的0-2號chunk仍是保留。

這些一系列的細節，都是取決於播放器開發者本身，或者說開發者基於DASH這個協議上的改進。Exoplayer是安卓平臺上支持DASH的開源播放器比較好的學習例子。接下來我會着重講講Exoplayer的源代碼的一些實現。