解讀生成對抗網絡（GAN） 之U-GAN-IT

Unsupervised Generative Attentionnal Networks with Adapter Layer-In（U-GAN-IT）

從字面咱們能夠理解爲無監督生成對抗網絡和適配層的結合

 

論文實現：

• 論文實現了無監督圖像的翻譯問題，當兩個圖像之間兩個圖像、紋理差異較大時的圖像風格（style）轉換。
• 論文實現了相同的網絡結構和超參數同時須要同時保持shape的圖像翻譯I（相似風格遷移可是圖像自己形狀這些原始shape不變），以及須要改變shape的圖像翻譯任務(我的觀點，跨domain)

 

 

                      圖1：風格遷移（horse2zebra）

 

                       

 

 

 圖2跨domain的圖像翻譯（cat2dog）

創新：

在於這篇論文新增長了一個新的注意模塊(attention)：輔助分類器和一個能夠自主學習的規範化函數（自適應的歸一化方式）AdaLIN，使得該模型具備更優越性。

• attention：加強判別器的鑑別能力，更好的區分原始圖像和生成圖像
• 自適應的歸一化AdaLIN：加強魯棒性

獲得了在固定網絡結構和超參數下保持形狀（如horse2zebra）和改變形狀（如cat2dog）的圖像轉換的預期結果。須要針對特定數據集調整網絡結構或超參數設置。在這項工做中，咱們提出了一種新的無監督圖像到圖像的翻譯方法，它以端到端的方式結合了一個新的注意模塊和一個新的可學習的規範化函數。咱們的模型根據輔助分類器得到的注意圖，經過區分源域和目標域，引導翻譯關注更重要的區域而忽略次要區域。這些注意映射被嵌入到生成器和鑑別器中，以集中在語義上重要的區域，從而便於形狀轉換。而在生成器中的注意圖將焦點誘導到專門區分這兩個域的區域，而鑑別器中的注意映射經過聚焦目標域中真實圖像和假圖像的差別來幫助微調。除了注意機制外，咱們還發現，對於形狀和紋理變化量不一樣的數據集，歸一化函數的選擇對轉換結果的質量有顯著影響。受批處理實例規範化（BIN）（Nam&Kim（2018））的啓發，咱們提出了自適應層實例規範化（AdaLIN），該方法經過自適應選擇實例規範化（IN）和層規範化（LN）之間的比例，在訓練過程當中從數據集學習參數。AdaLIN函數幫助咱們的注意力引導模型靈活地控制形狀和紋理的變化量。不須要改變模型的總體形狀，也不須要改變模型的總體形狀。實驗結果代表，與現有的模型相比，本文提出的方法在風格轉換和物體變形方面都具備優點。擬議工做的主要貢獻可歸納以下：

 

                               圖3.生成器和判別器工做流程 

 

 

 

 

 

AdaLIN:

 

 

 

 

 

 

層級歸一化Layer Norm（LN），更多考慮特徵輸入通道之間的相關性，自適應實例級歸一化（IN）更多考慮的是單個特徵通道的內容，能夠更好地保存源圖像的語義信息，可是對於風格轉換不完全。因此本論文將二者相結合，而且作了不少實驗從實驗數據咱們能夠看到這種學習方法，證實實驗可用性。

 

Ateention：

圖三中咱們能夠分析出該神經網絡的流程，首先通過一個編碼器得到圖片特徵，編碼器由上採樣和殘差block結構組成，而後通過全鏈接層得到一個預測E而後乘以權重以後通過attention以後的特徵圖通過解碼（dencoder）以後得到最後的圖片。

 

數據驗證：

 

 

前置內容：

 

GAN的基本思想

納什均衡，也叫非合做博弈均衡。

 

 

 

 

P_data(x) = P_gen(x) ∀_x

D(x) = 1/2 ∀_x

理解起來就是生成器的生成圖片可以讓判別器判別不出來爲最終目的，經過一個數據樣本的潛在分佈生成一個新的數據樣本，這和VAE（變分自編碼器）是很類似的。

 

CycleGAN:

本篇論文應對cycleGAN有一個前置瞭解，本篇論文的網絡結構基於cycleGAN

 

 

 x生成y，y反循環給x，確保F(G(X))≈X。

 

實驗效果：

 

 

 

 

 

 

 

分析：

咱們復現論文能夠從如下幾點考慮

1. 該模型基於cycleGAN，因此應該對cycleGAN深刻了解

2.關於attention以及AdaLIN自適應的使用

 

git：https://github.com/znxlwm/UGATIT-pytorch

 

參考出處：

李宏毅GAN2018筆記 | GAN背後的數學理論

百度AI Studio論文精讀