LapGAN

  Facebook 等人提出的 LAPGAN[2] 則是採用了這樣的思想,在 GAN 基礎上作出了改進。LAPGAN[2] 這個工做既有 project page,也有開源代碼,是很是值得重視的工做。在實現 sequential version 的方式上,LAPGAN[2] 這個工做採用的是一種幾十年前的 Laplacian Pyramid 的方式,也所以起名作 LAPGAN。 git

  LapGan是用一個串聯的網絡,構成laplacian pyramid,生成從粗糙到精細的圖片。github

    在金字塔的每一層級,使用GAN方法訓練一個獨立的生成式卷積網絡模型。網絡

  利用天然圖像的多尺度結構,構建一系列生成式模型。每一個生成式模型抓取Laplacian金字塔的一個特定尺度的圖像結構。 
    這一策略將原始問題轉變成一系列更加可控的步驟。 
學習

生成器採樣過程(sampling):(圖像通過下采樣再上採樣到原來大小時候會有信息丟失,丟失的信息構成殘差圖像)spa

  

給最後一層的生成模型Gk輸入噪聲向量Zk,去生成一個殘差圖像Ik 這裏寫圖片描述blog

 

除了最高層屬於通常GAN,後面都使用CGAN,輸入噪聲+從低分辨率上採樣而來的圖像生成殘差圖像。圖片

這個方式主要的操做即是 downsample 和 upsample,而優點是每次只考慮樣本和生成圖像之間的殘差的學習效果,某種程度上和 Residual Network 的思想是同樣的。針對殘差的逼近和學習,相對更加容易。因而,在這個思想上,便有了以下 LAPGAN 的學習過程: ci

 

 

金字塔有K層,表示有K個對抗網絡,分別生成k個不一樣層次的圖像,其中設定第K+1層爲0。生成網絡有所不一樣之處在於,將高層金字塔圖像也做爲輸出,和噪音一塊兒生成低層的圖像,至關於一個CGAN(conditional generative adverarial net)。經過上述網絡,就能夠生成最後的高分辨率的圖像。get

相關文章
相關標籤/搜索