視頻編解碼學習之一：理論基礎

第1章介紹

1. 爲何要進行視頻壓縮？

• 未經壓縮的數字視頻的數據量巨大
• 存儲困難
  • 一張DVD只能存儲幾秒鐘的未壓縮數字視頻。
• 傳輸困難
  • 1兆的帶寬傳輸一秒的數字電視視頻須要大約4分鐘。

2. 爲何能夠壓縮

• 去除冗餘信息
  • 空間冗餘：圖像相鄰像素之間有較強的相關性
  • 時間冗餘：視頻序列的相鄰圖像之間內容類似
  • 編碼冗餘：不一樣像素值出現的機率不一樣
  • 視覺冗餘：人的視覺系統對某些細節不敏感
  • 知識冗餘：規律性的結構可由先驗知識和背景知識獲得

3. 數據壓縮分類

• 無損壓縮（Lossless）
  • 壓縮前解壓縮後圖像徹底一致X=X'
  • 壓縮比低(2:1~3:1)
  • 例如：Winzip，JPEG-LS
• 有損壓縮（Lossy）
  • 壓縮前解壓縮後圖像不一致X≠X'
  • 壓縮比高(10:1~20:1)
  • 利用人的視覺系統的特性
  • 例如：MPEG-2，H.264/AVC，AVS

4. 編解碼器

• 編碼器（Encoder）
  • 壓縮信號的設備或程序
• 解碼器（Decoder）
  • 解壓縮信號的設備或程序
• 編解碼器(Codec)
  • 編解碼器對

5. 壓縮系統的組成

(1) 編碼器中的關鍵技術

(2) 編解碼中的關鍵技術

6. 編解碼器實現

• 編解碼器的實現平臺：
  • 超大規模集成電路VLSI
    • ASIC， FPGA
  • 數字信號處理器DSP
  • 軟件
• 編解碼器產品：
  • 機頂盒
  • 數字電視
  • 攝像機
  • 監控器

7. 視頻編碼標準

編碼標準做用：

• 兼容：
  • 不一樣廠家生產的編碼器壓縮的碼流可以被不一樣廠家的解碼器解碼
• 高效：
  • 標準編解碼器能夠進行批量生產，節約成本。

主流的視頻編碼標準：

• MPEG-2
• MPEG-4 Simple Profile
• H.264/AVC
• AVS
• VC-1

標準化組織：

• ITU：International Telecommunications Union
  • VECG：Video Coding Experts Group
• ISO：International Standards Organization
  • MPEG：Motion Picture Experts Group

8. 視頻傳輸

• 視頻傳輸：經過傳輸系統將壓縮的視頻碼流從編碼端傳輸到解碼端
• 傳輸系統：互聯網，地面無線廣播，衛星

9. 視頻傳輸面臨的問題

• 傳輸系統不可靠
  • 帶寬限制
  • 信號衰減
  • 噪聲干擾
  • 傳輸延遲
• 視頻傳輸出現的問題
  • 不能解碼出正確的視頻
  • 視頻播放延遲

10. 視頻傳輸差錯控制

• 差錯控制（Error Control）解決視頻傳輸過程當中因爲數據丟失或延遲致使的問題
• 差錯控制技術：
  • 信道編碼差錯控制技術
  • 編碼器差錯恢復
  • 解碼器差錯隱藏

11. 視頻傳輸的QoS參數

• 數據包的端到端的延遲
• 帶寬：比特/秒
• 數據包的流失率
• 數據包的延遲時間的波動

第2章 數字視頻

1.圖像與視頻

• 圖像：是人對視覺感知的物質再現。
• 三維天然場景的對象包括：深度，紋理和亮度信息
• 二維圖像：紋理和亮度信息

• 視頻：連續的圖像。
• 視頻由多幅圖像構成，包含對象的運動信息，又稱爲運動圖像。

2. 數字視頻

• 數字視頻：天然場景空間和時間的數字採樣表示。
  • 空間採樣
    • 解析度（Resolution）
  • 時間採樣
    • 幀率：幀/秒

3. 空間採樣

• 二維數字視頻圖像空間採樣

4. 數字視頻系統

• 採集
  • 照相機，攝像機
• 處理
  • 編解碼器，傳輸設備
• 顯示
  • 顯示器

5. 人類視覺系統HVS

• HVS
  • 眼睛
  • 神經
  • 大腦

• HVS特色：
  • 對高頻信息不敏感
  • 對高對比度更敏感
  • 對亮度信息比色度信息更敏感
  • 對運動的信息更敏感

6. 數字視頻系統的設計應該考慮HVS的特色：

• 丟棄高頻信息，只編碼低頻信息
• 提升邊緣信息的主觀質量
• 下降色度的解析度
• 對感興趣區域（Region of Interesting，ROI）進行特殊處理

7. RGB色彩空間

• 三原色：紅（R），綠（G），藍（B）。
• 任何顏色均可以經過按必定比例混合三原色產生。
• RGB色度空間
  • 由RGB三原色組成
  • 普遍用於BMP，TIFF，PPM等
  • 每一個色度成分一般用8bit表示[0,255]

8. YUV色彩空間

• YUV色彩空間：
  • Y：亮度份量
  • UV：兩個色度份量
  • YUV更好的反映HVS特色

9. RGB轉化到YUV空間

亮度份量Y與三原色有以下關係：

通過大量實驗後ITU-R給出了， ， ，

主流的編解碼標準的壓縮對象都是YUV圖像

10. YUV圖像份量採樣

• YUV圖像能夠根據HVS的特色，對色度份量下采樣，能夠下降視頻數據量。
• 根據亮度和色度份量的採樣比率，YUV圖像一般有如下幾種格式：

11. 通用 的YUV圖像格式

• 根據YUV圖像的亮度分辨率定義圖像格式

12. 幀和場圖像

• 一幀圖像包括兩場——頂場，底場

13. 逐行與隔行圖像

• 逐行圖像：一幀圖像的兩場在同一時間獲得，t_top=t_bot。
• 隔行圖像：一幀圖像的兩場在不一樣時間獲得， t_top≠t_bot。

14. 視頻質量評價

• 有損視頻壓縮使編解碼圖像不一樣，須要一種手段來評價解碼圖像的質量。
• 質量評價：
  • 客觀質量評價
  • 主觀質量評價
  • 基於視覺的視頻質量客觀評價
• 客觀質量評價：經過數學方法測量圖像質量評價的方式。
• 優勢：
  • 可量化
  • 測量結果可重複
  • 測量簡單
• 缺點：
  • 不徹底符合人的主觀感知

15. 客觀評價的方法

經常使用的客觀評價方法：

16. 主觀評價方法

• 主觀質量評價：用人的主觀感知直接測量的方式。
• 優勢：
  • 符合人的主觀感知
• 缺點：
  • 不容易量化
  • 受不肯定因素影響，測量結果通常不可重複
  • 測量代價高

經常使用主觀評價方法

17. 基於視覺的視頻質量客觀評價方法

• 基於視覺的視頻質量客觀評價：將人的視覺特性用數學方法描述並用於視頻質量評價的方式。
• 結合了主觀質量評價和客觀質量評價兩方面優勢。
• 經常使用方法：結構類似度（Structural SIMilarity，SSIM）方法。
• 將HVS的特徵用數學模型表達出來。
• 將來重要的研究方向

 

第3章 信息論基礎

1. 通訊系統的組成

• 信源：產生消息
• 信道：傳輸消息
• 信宿：接收消息

2. 基本概念

• 通訊中對信息的表達分爲三個層次：信號，消息，信息。
  • 信號：是信息的物理層表達，可測量，可描述，可顯示。如電信號，光信號。
  • 消息：是信息的載體，以文字，語言，圖像等人類能夠認知的形式表示。
  • 信息：不肯定的內容。

3. 信息熵

信息的特色

信息的測量

自信息量

條件信息量

4. 信息熵

5. 條件熵和聯合熵

6. 熵的性質

• 非負性：信源熵是非負值，即 H(X) >=0;
• 擴展性：信源熵X有M個符號，若是其中一個符號出現的機率趨於零，信源熵就等於剩餘M-1個符號的信源熵；
• 極值性（最大信息熵）：對於具備M個符號的信源，只有在全部符號等機率出現的狀況下，信源熵達到最大值，即
• 可加性：
• 熵不增：條件熵不大於信息熵 H(X|Y) <= H(X)；
• 聯合熵不大於各信息熵的和，即H(XY) <= H(X) + H(Y)。

7. 互信息量

8. 互信息

• 物理意義：H(X)是X所含的信息，H(X|Y)是已知Y的條件下X還能帶來的信息量。那麼二者之差就是因爲知道Y使得X減小的信息量，也即由Y能夠獲得的關於X的信息量。

9. 各類熵的關係

11. 信源編碼

• 信源編碼：將消息符號轉變成信道可傳輸的信息。
• 兩個基本問題：
  • 用盡量少的信道傳輸符號來傳遞信源消息，提升傳輸效率；
  • 減小因爲信道傳輸符號的減小致使的失真。

12. 離散信源統計特性

13. 離散信源類型：簡單無記憶信源和馬爾可夫信源

14. 編碼分類

• 等長碼：在一組碼字集合C中的全部碼字c_m (m = 1,2, …,M)，其碼長都相同，則稱這組碼C爲等長碼。
• 變長碼：若碼字集合C中的全部碼字c_m (m = 1,2, …,M)，其碼長不都相同，稱碼C爲變長碼。

15. 平均碼長

16. 等長碼與變長碼比較

• 等長編碼將信源輸出符號序列的任意一種取值（機率可能不一樣）都編碼成相同長度的輸出碼字，沒有利用信源的統計特性；
• 變長編碼能夠根據信源輸出符號序列各類取值的機率大小不一樣，將他們編碼成不一樣長度的輸出碼字，利用了信源的統計特性。所以又稱其爲熵編碼。

17. Huffman編碼

• Huffman編碼：典型的變長編碼。
• 步驟：
  • 將信源符號按機率從大到小的順序排列，假定p(x₁)≥ p(x₂)… ≥ p(x_n)
  • 給兩個機率最小的信源符號p(x_n-1)， p(x_n)各分配一個碼位"0"和"1"，將這兩個信源符號合併成一個新符號，並用這兩個最小的機率之和做爲新符號的機率，結果獲得一個只包含(n-1)個信源符號的新信源。稱爲信源的第一次縮減信源，用S₁表表示。
  • 將縮減信源S₁的符號仍按機率從大到小的順序排列，重複步驟2，獲得只含(n-2)個符號的縮減信源S₂。
  • 重複上述步驟，直至縮減信源只剩下兩個符號爲止，此時所剩兩個符號的機率之和必爲1。而後從最後一級縮減信源開始，依編碼路徑向前返回，就獲得各信源符號所對應的碼字。

 

18. 信道編碼

• 信道編碼主要考慮如何增長信號的抗干擾能力，提升傳輸的可靠性，而且提升傳輸效率。
• 通常是採用冗餘編碼法，賦予信碼自身必定的糾錯和檢錯能力，使信道傳輸的差錯機率降到容許的範圍以內。

19. 信道類型

• 根據信道連續與否分類
  • 離散信道
  • 連續信道
  • 半連續信道
• 根據信道是否有干擾分類
  • 無干擾信道
  • 有干擾信道
• 根據信道的統計特性分類
  • 無記憶信道
  • 有記憶信道
  • 恆參信道
  • 變參信道
  • 對稱信道
  • 非對稱信道

20. 信道容量

• 在信息論中，稱信道無差錯傳輸的最大信息速率爲信道容量。
• 仙農信道容量公式：
  • 假設連續信道的加性高斯白噪聲功率爲N，信道帶寬爲B，信號功率爲S，則該信道的容量爲
  • 因爲噪聲功率N與信道帶寬B有關，則噪聲功率N=n₀B 。所以，仙農公式還能夠表示爲

21. 香農信道容量公式的意義

• 在給定B和S/N的狀況下，信道的極限傳輸能力爲C，並且此時可以作到無差錯傳輸。若是信道的實際傳輸速率大於C 值，則無差錯傳輸在理論上就已不可能。所以，實際傳輸速率通常不能大於信道容量C ，除非容許存在必定的差錯率。
• 提升信噪比S/N（經過減少n₀或增大S），可提升信道容量C。特別是，若n₀->0，則C->∞ ，這意味着無干擾信道容量爲無窮大；
• 增長信道帶寬B，也可增長信道容量C，但作不到無限制地增長。這是由於，若是 S、n₀必定，有
• 維持一樣大小的信道容量，能夠經過調整信道的B及S/N來達到，即信道容量能夠經過系統帶寬與信噪比的互換而保持不變。

22. 失真

• 失真：信源的消息通過編解碼後不能徹底復原
• 在實際的信源和信道編碼中，消息的傳輸並不老是無失真的。
  • 因爲存儲和傳輸資源的限制
  • 噪聲等因素的干擾

23. 率失真理論

• 仙農定義了信息率失真函數R(D)
  • D是消息失真
  • R是碼率
• 率失真定理：在容許必定失真度D的狀況下，信源輸出的信息率可壓縮到R(D)。

24. 失真函數

• 失真函數：信源符號X={x₁, x₂, …..x_n}，經信道傳輸接收端符號Y={y₁, y₂….y_n}，對於每一對(x_i, y_j)指定一個非負函數 d(x_i, y_j)，稱d(x_i, y_j)爲單個符號的失真度或失真函數。對於連續信源連續信道的狀況，經常使用d(x, y)表示。
• 經常使用失真函數：

• 平均失真度：