基於深度學習的兩種信源信道聯合編碼

摘要：信源編碼是一個數據壓縮的過程，其目的是儘量地將信源中的冗餘度去掉；而信道編碼則是一個增長冗餘的過程，經過適當加入冗餘度來達到抵抗信道噪聲，保護傳輸數據的目的。

本文分享自華爲雲社區《基於深度學習的信源信道聯合編碼》，原文做者：技術火炬手 。

信源編碼是一個數據壓縮的過程，其目的是儘量地將信源中的冗餘度去掉；而信道編碼則是一個增長冗餘的過程，經過適當加入冗餘度來達到抵抗信道噪聲，保護傳輸數據的目的。

經典端對端無線通訊系統以下圖所示：

• 信源 x_x_ 使用信源編碼，去除冗餘獲得比特流 s_s_。
• 對 s_s_ 進行信道編碼（如 Turbo、LDPC 等）獲得 y_y_，增長相應的校驗位來抵抗信道噪聲。
• 對比特流 y_y_ 進行調製（如 BPSK、16QAM 等）獲得 z_z_，並經物理信道發送。
• 接收端對經信道後的符號 bar{z}_z_ˉ 進行解調、解碼操做獲得 bar{x}_x_ˉ。

根據定義信道方式不一樣，基於深度學習的信源信道聯合編碼（Deep JSCC）能夠分爲兩類。

第一類，受無編碼傳輸的啓發，將信源編碼、信道編碼和調製聯合設計爲編碼器。

系統模型以下圖所示：

第二類，將通訊系統中的調製、噪聲信道、解調模塊抽象爲離散的二進制信道。

系統模型以下圖所示：

第一種模型稱爲基於物理信道的符號編碼，第二種稱爲基於抽象信道的比特編碼。

另外一方面，信源可根據其是否具備結構化特徵劃分爲兩類：

• 結構化信源，如圖像、視頻。
• 非結構化信源，如高斯信源。

結構化信源是 Deep JSCC 的主要研究場景。因爲神經網絡對結構化數據具備強大的特徵獲取能力，而且有針對各類結構化數據設計的網絡結構的出現。

所以，Deep JSCC 相較於傳統設計更具備優點。

圖像/視頻等具備空間拓撲結構信源適合 CNN 網絡結構，文本/語音等具備時間序列化結構信源適合 RNN 網絡結構。

對於非結構化信源，Deep JSCC 則稍顯羸弱。由於非結構化信源內部相關性弱，難以去除冗餘。

基於物理信道的符號編碼

結構化信源

Gunduz 團隊1 提出了一個傳輸高分辨率圖像的 Deep JSCC 框架。
發送端和接收端都使用 CNN 網絡，並在訓練時加入了高斯白噪聲和瑞利衰減噪聲。
提出的 Deep JSCC 框架以下圖所示：

實驗代表，從 PSNR 和 SSIM 數據來看，提出的信源信道聯合編碼比信源信道分離方案更優，在低信噪比的信道環境下，優點尤爲明顯。

Gunduz 團隊2 在前一個方案的基礎上，提出將噪聲反饋模塊融入傳輸系統，以加強編解碼器對變換信噪比的魯棒性。

解碼器將一部分通過噪聲信道的接收到的符號 bar{z}_z_ˉ 反饋給編碼器，編碼器根據 bar{z}_z_ˉ 從新計算信噪比，並對編解碼網絡參數進行改進，以適應變換的信噪比環境。

其通訊方案以下圖所示：

Jankowski3 提出了一種使用 Deep JSCC 來進行圖像檢索的方案，先提取圖像特徵，而後使用 Deep JSCC 編碼傳輸圖像特徵子，接收端接收解碼特徵子並基於特徵對圖像進行檢索。

系統架構以下圖所示：

非結構化信源

Saidutta4 提出了一種應用雙編碼解碼結構的 Deep JSCC 方案對高斯信源進行編碼傳輸。
訓練時採用 MSE 優化器。

系統架構以下圖所示：

在前面工做的基礎上，Saidutta5 提出了基於變分自編碼器對高斯信源編碼的 Deep JSCC 方案，經過假設接收信號和重構信號的高斯統計特性，給出了正則化 MSE 損失的可變上限證實。

Xuan6 提出了一種基於 RNN 對高斯信源編碼的 Deep JSCC 方案。

其不須要獲取信源的先驗信息，並在理論上證實了 Deep JSCC 的有效性，同時證實了基於深度學習的編碼器與基於混沌動態系統（Chaotic Dynamical System）的編碼函數之間的類似性。

系統框架以下圖所示：

基於抽象信道的比特編碼

與傳統符號流的 Deep JSCC 方案不一樣，二進制信道下傳輸離散比特流沒法計算反向傳播梯度。所以，離散信道的嵌入也比物理信道的嵌入更爲複雜。

近年來，神經網絡離散化7和離散自編碼器8的發展，爲上述難點提供瞭解決思路。針對離散化神經網絡的問題，一個簡單的方法是使用得分函數估計器替代梯度9。因爲該估計方差較高，一部分工做提出了不一樣的公式和控制變量來解決該問題10。

另外，爲了達到使離散隨機變量連續化的目的，Jang 和 Maddisonet 分別提出了 Gumbel-Softmax 分佈11和 Concrete 方案12。

結構化信源

Choi13 提出了一種使用離散自編碼器對圖像進行抽象信道的比特編碼方案。爲了保留編碼的硬離散性，使用了多樣本變分下界目標，用於得到低變差梯度。

系統結構以下圖所示：

其使用圖像及其二進制表示的互信息的變分下界來訓練模型，以得到更好的魯棒性。

Song14 提出了新的正則化方法 IABF(Infomax Adversarial Bits Flip) ，以加強 NECST 的壓縮和糾錯能力，提高魯棒性。並提出了新的損失函數，實現了網絡對高維數據更有效的優化。

Shao15 基於輕量級 CNN 網絡提出了可部署到計算能力有限的移動設備中的低功耗 Deep JSCC。

系統架構以下圖所示：

Farsad16 提出了基於 RNN 結構的 Deep JSCC 方案，以對文本信源進行編碼傳輸。採用裏德-所羅門（ReedSolomon）碼對信道進行編碼；結果代表，當編碼比特較短時，該方案比傳統方法具更低的單詞錯誤率。

系統架構以下圖所示：

非結構化信源

Carpi17 提出了一種基於強化學習的 Deep JSCC 方案，採用了比特位翻轉解碼（bitflipping decoding）、殘差信念傳播（residual belief propagation）和錨解碼（anchor decoding）三種算法，讓解碼器由數據驅動去學習最佳的解碼策略。

1. [2019 TCCN]
   Deep Joint Source-Channel Coding for Wireless Image Transmission
2. [2020 JSAIT]
   DeepJSCC-f: Deep Joint Source-Channel Coding of Images with Feedback
3. [2019 ICASSP]
   Deep Joint Source-Channel Coding for Wireless Image Retrieval
4. [2019 DCC]
   M to 1 Joint Source-Channel Coding of Gaussian Sources via Dichotomy of the Input Space Based on Deep Learning
5. [2019 ISIT]
   Joint Source-Channel Coding for Gaussian Sources over AWGN Channels using Variational Autoencoders
6. [2020 SPCOM]
   Analog Joint Source-Channel Coding for Gaussian Sources over AWGN Channels with Deep Learning
7. [2019 TPMI]
   Learning Deep Binary Descriptor with Multi-Quantization
8. [2018 NIPS]
   DVAE#: Discrete Variational Autoencoders with Relaxed Boltzmann Priors
9. [1992 ML]
   Simple Statistical Gradient-Following Algorithms for Connectionist Reinforcement Learning
10. [2017 NIPS]
    REBAR: Low-variance, unbiased gradient estimates for discrete latent variable models
11. [2016 ML]
    Categorical Reparameterization with Gumbel-Softmax
12. [2016 ML]
    The Concrete Distribution: A Continuous Relaxation of Discrete Random Variables
13. [2018 ML]
    Neural Joint Source-Channel Coding
14. [2020 AAAI]
    Infomax Neural Joint Source-Channel Coding via Adversarial Bit Flip
15. [2020]
    BottleNet++: An End-to-End Approach for Feature Compression in Device-Edge Co-Inference Systems
16. [2018 ICASSP]
    Deep Learning for Joint Source-Channel Coding of Text
17. [2019 AACCCC]
    Reinforcement Learning for Channel Coding: Learned Bit-Flipping Decoding
18. [2020 電信科學]
    基於深度學習的信源信道聯合編碼方法綜述

點擊關注，第一時間瞭解華爲雲新鮮技術~