[計算機視覺論文速遞] 2018-07-05 GAN專場

導言

這篇文章有4篇論文速遞，都是GAN方向，包括根據文本生成圖像和多域圖像生成等方向。其中一篇是IJCAI 2018。

CVer

編輯: Amusi

校稿: Amusi

前戲

Amusi 將平常整理的論文都會同步發佈到 daily-paper-computer-vision 上。名字有點露骨，還請見諒。喜歡的童鞋，歡迎star、fork和pull。

直接點擊「閱讀全文」便可訪問daily-paper-computer-vision。
link: https://github.com/amusi/daily-paper-computer-vision

GAN

《Text to Image Synthesis Using Generative Adversarial Networks》

arXiv 2018

Architecture of the customised GAN-CLS

Each row contains 64×64 images generated by a different model from the top text
description. The order is: GAN-CLS (first row), WGAN-CLS (second row), StackGAN Stage I(third row), Conditional Least Squares PGGAN (forth row), Conditional Wasserstein PGGAN(fifth row).

Abstract：從天然語言生成圖像是最近條件生成模型的主要應用之一。除了測試咱們對條件性，高維度分佈進行建模的能力以外，文本到圖像合成還具備許多使人興奮和實際的應用，例如照片編輯或計算機輔助內容建立。使用生成對抗網絡（GAN）已經取得了最新進展。本文首先對這些主題進行介紹，並討論了現有技術模型的現狀。此外，本文提出了Wasserstein GAN-CLS，這是一種基於Wasserstein距離的條件圖像生成的新模型，能夠保證穩定性。而後，展現了Wasserstein GAN-CLS的新型損失函數如何用於條件漸進式生長（Conditional Progressive Growing）GAN。與建議的損失相結合，該模型將僅使用句子級視覺語義的模型的最佳初始得分（在加州理工學院數據集上）提升了7.07％。惟一比有條件的Wasserstein漸進式增加GAN表現更好的模型是最近提出的使用詞級視覺語義（word-level visual semantics）的AttnGAN。

arXiv：https://arxiv.org/abs/1805.00676

注：超級重磅文章！整整72頁！

《Transferring GANs: generating images from limited data》

arXiv 2018

Transferring GANs: training source GANs

Abstract：經過微調將預訓練網絡的知識傳遞到新域是基於判別模型的應用的普遍使用的實踐。據咱們所知，這種作法還沒有在生成性深層網絡的背景下（the context of generative deep networks）進行研究。所以，咱們研究應用於生成對抗網絡的圖像生成的域自適應（domain adaptation）。咱們評估域適應的幾個方面，包括目標域大小的影響，源域和目標域之間的相對距離，以及條件GAN的初始化。咱們的結果代表，使用來自預訓練網絡的知識能夠縮短收斂時間而且能夠顯著提升所生成圖像的質量，尤爲是當目標數據有限時。咱們代表，即便在沒有條件訓練的狀況下訓練預訓練模型，也能夠爲條件GAN繪製這些結論。咱們的結果還代表，密度（density）可能比多樣性更重要，具備一個或幾個密集採樣類的數據集可能比更多不一樣的數據集（如ImageNet或Places）更好的源模型。

arXiv：https://arxiv.org/abs/1805.01677

《MEGAN: Mixture of Experts of Generative Adversarial Networks for Multimodal Image Generation》

IJCAI 2018

The proposed architecture of MEGAN

Visual Inspection; CelebA dataset

Abstract：最近，生成對抗網絡（GAN）在生成逼真圖像方面表現出了很好的表現。然而，他們常常難以在給定數據集中學習複雜的基礎模態（underlying modalities），致使生成質量差的圖像。爲了解決這個問題，咱們提出了一種稱爲mixture of experts GAN（MEGAN）的新方法，這是一種多生成網絡的集合方法。MEGAN中的每一個生成網絡專門用於生成具備特定模態子集的圖像，例如圖像類。咱們提出的模型不是採用多個模態的手工聚類的單獨步驟，而是經過 gating networks對多個生成網絡的端到端學習進行訓練， gating networks負責爲給定條件選擇合適的生成網絡。咱們採用分類從新參數化技巧，在選擇生成器的同時保持梯度流動的分類決策。咱們證實了個體生成器學習數據的不一樣且顯著的子部分，而且對於CelebA得到了0.2470的多尺度結構類似性（MS-SSIM）得分，而且在CIFAR-10中得到了8.33的競爭性無監督初始得分。

arXiv：https://arxiv.org/abs/1805.02481v2

《Unpaired Multi-Domain Image Generation via Regularized Conditional GANs》

arXiv 2018

The framework of RegCGAN

Comparison results between RegCGAN and CycleGAN
for the task of female and male

Abstract：在本文中，咱們研究了多域（multi-domain）圖像生成的問題，其目的是從不一樣的域生成相應的圖像對。隨着近年來生成模型的發展，圖像生成取得了很大進展，並已應用於各類計算機視覺任務。然而，因爲難以學習不一樣域圖像的對應性，尤爲是當未給出配對樣本的信息時，多域圖像生成可能沒法實現指望的性能。爲了解決這個問題，咱們提出了規則化條件GAN（RegCGAN），它可以學習在沒有配對訓練數據的狀況下生成相應的圖像。 RegCGAN基於條件GAN，咱們引入兩個正則化器來指導模型學習不一樣域的相應語義。咱們對未給出配對訓練數據的若干任務評估所提出的模型，包括邊緣和照片的生成，具備不一樣屬性的面部的生成等。實驗結果代表咱們的模型能夠成功地生成全部這些的相應圖像，同時優於 baseline方法。咱們還介紹了將RegCGAN應用於無監督域自適應的方法。

arXiv：https://arxiv.org/abs/1805.02456