點擊上方「機器學習與生成對抗網絡」，關注"星標"微信
獲取有趣、好玩的前沿乾貨！
網絡
Image Processing Using Multi-Code GAN Prior
https://arxiv.xilesou.top/pdf/1912.07116.pdf
儘管生成對抗網絡（GAN）在圖像生成裏取得了巨大成功，可是將訓練好的GAN模型應用到真實的圖像處理任務仍然具備挑戰性。無監督的GAN中，生成器一般將潛在空間Z映射到圖像空間image，也就是沒有地方提供去採納一個真實圖像做爲輸入，這致使訓練好的模型沒法進行很好地進行後續圖像處理。
爲了讓訓練好的GAN能用於處理圖像，現有方法嘗試以從新反向傳播（尋找合適的Z）或者添加一個額外的編碼器encoder將圖像映射到潛在空間。但多數狀況下二者的重建並不理想。
在這項工做中提出一種新的逆映射（image->Z）方法，將訓練好的GAN做爲一個有效的先驗去處理多種圖像處理任務。具體而言，給定須要作逆映射的GAN模型，使用多個潛碼Z利用該GAN模型生成多個特徵圖（映射到生成器的某個中間層），而後計算它們的重要性係數最終組合並生成目標圖像。這種多參數化潛碼Z訓練的方式能夠顯著提升圖像的重建質量。而高質量的圖像重建可使得訓練好的GAN做爲一種先驗應用於許多真實場景下的應用，例如：圖像上色、超分辨率、圖像修復、圖像語義物體操做編輯等等。同時論文還進一步分析了訓練好的模型中每一層的表徵屬性，去解釋每層所能表示的知識。
一個無監督、訓練好的GAN能夠經過從潛在空間Z中採樣而後合成高質量的圖像，也就是Z->image。而所謂的GAN逆映射指的是，找到一個合適Z去恢復目標圖像，也就是image->Z（Z此時是一個待優化的參數）。
做者認爲單碼（single latent code）去恢復重建目標圖像的全部細節so hard，因此使用多碼，期待它們能夠更全方面的去重建更細緻的部分（將複雜任務細化、分而治之）。本文引進的所謂多碼（multiple latent codes），如何將它們結合在一塊兒優化是一個關鍵問題。
做者的方法是將生成器「分爲」兩部分，G1和G2，L是中間某層的特徵輸出，提出「自適應通道重要性」（Adaptive Channel Importance）去作融合後重建。
分別使用face、church、conference room、bedroom四個數據集預訓練PGGAN，並以此做爲先驗。當使用single latent code去重建時，很難「覆蓋先驗」，出來的結果會呈現原訓練集圖像內容，而沒法重建到目標圖像。
本文提出了一種新穎的GAN逆映射方法。基於預訓練的無監督GAN，使用多碼（multiple latent codes）去重建目標圖像的方法。實驗代表該方法能夠有效利用預訓練好的GAN進行多種圖像處理任務。
GAN整整6年了！是時候要來捋捋了！ app
新手指南綜述 | GAN模型太多，不知道選哪兒個？
框架
數百篇GAN論文已下載好！搭配一份生成對抗網絡最新綜述！機器學習
CVPR2020之MSG-GAN：簡單有效的SOTA
學習
CVPR2020之姿式變換GAN：圖像裏誰都會劈叉？
優化
3月已半，GAN最近都在整些啥？
編碼
有點誇張、有點扭曲！速覽這些GAN如何誇張漫畫化人臉！
spa
見微知細之超分辨率GAN！附70多篇論文下載！
.net
天降斯雨，於我卻無！GAN用於去雨如何？
臉部轉正！GAN可否讓側顏殺手、小豬佩奇真容無處遁形？
容顏漸失！GAN來預測？
強數據所難！SSL（半監督學習）結合GAN如何？
弱水三千，只取你標！AL（主動學習）結合GAN如何？
異常檢測，GAN如何gan ?
虛擬換衣！速覽這幾篇最新論文咋作的！
臉部妝容遷移！速覽幾篇用GAN來作的論文
【1】GAN在醫學圖像上的生成，今如何？
01-GAN公式簡明原理之鐵甲小寶篇
GAN&CV
交流羣
，不管小白仍是大佬，誠摯邀您加入！