GAN（Generative Adversarial Nets）的發展

GAN（Generative Adversarial Nets），產生式對抗網絡

 

存在問題：

1.沒法表示數據分佈

2.速度慢

3.resolution過小，大了無語義信息

4.無reference

5.intend to generate same image

6.梯度消失

 

論文摘要：

一、Goodfellow, Ian, et al. "Generative adversarial nets." Advances in Neural Information Processing Systems. 2014.

作以下優化：

全局最優解爲：

訓練過程：

算法描述：先優化discriminator，再訓練generator

latent code插值後出現了漸變特效：

 

2.Mirza, Mehdi, and Simon Osindero. "Conditional generative adversarial nets."arXiv preprint arXiv:1411.1784 (2014).

 

優化目標：

好像就是加了label信息。

 

3.Denton, Emily L., Soumith Chintala, and Rob Fergus. "Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks."Advances in neural information processing systems. 2015.

 不知道這篇論文正式發表沒有。這篇論文彷佛就是作了一個GAN和提升分辨率的結合。不過原本就沒有什麼語義信息的圖片，就算提升分辨率感受也沒什麼用，因此感受96x96分辨率的結果沒什麼意義。

原理：

整個test過程爲：

整個train過程爲：

 一些例子：

 

4.Radford, Alec, Luke Metz, and Soumith Chintala. "Unsupervised representation learning with deep convolutional generative adversarial networks." arXiv preprint arXiv:1511.06434 (2015).

這篇論文也不知道發表沒有。

用了不少trick，什麼batchnorm，全卷積無全鏈接，無pooling，用了LeakyReLu。 

網絡結構：

我的感受效果還不錯：

 

進行了有趣的實驗：

 

5.Salimans, Tim, et al. "Improved techniques for training gans." arXiv preprint arXiv:1606.03498 (2016).

提出了一些改進的trick。

用feature算距離

加label

效果：感受沒什麼語義信息

 

6.Chen, Xi, et al. "InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets." arXiv preprint arXiv:1606.03657 (2016).

主要是爲了解決產生同樣的sample的問題

公式：

結果：

 

7. Arjovsky M, Chintala S, Bottou L. Wasserstein GAN[J]. arXiv preprint arXiv:1701.07875, 2017.

相關連接：https://zhuanlan.zhihu.com/p/25071913?utm_medium=social&utm_source=wechat_timeline&from=timeline

https://arxiv.org/abs/1701.07875

對生成器的loss進行散度(JS散度，KL散度)的等價轉換，從而更直觀也更容易分析不一樣loss對應的相應問題，這種分析比直接分析函數loss或者minmax函數更加容易。爲了解決這些問題，引入了Wasserstein距離，替代了原來的loss。這種loss使得生成器的有必定的梯度，防止梯度消失，生成器訓練不動的狀況。這種loss還能指示訓練效果以及防止模型崩塌。

 

8.Li, Chongxuan, Jun Zhu, and Bo Zhang. "Max-Margin Deep Generative Models for (Semi-) Supervised Learning." arXiv preprint arXiv:1611.07119 (2016).

實驗室學長的工做，用GAN作半監督學習。利用generator產生更多的數據，幫助classfier訓練。

 

9.Wang, Jun, et al. "IRGAN: A Minimax Game for Unifying Generative and Discriminative Information Retrieval Models." arXiv preprint arXiv:1705.10513 (2017).

SIGIR 2017的best paper, 利用GAN的思想總和了檢索領域的兩大主流算法：一種根據關鍵字生成查詢結果，一種評價查詢和文檔之間的關聯性。generator用於生成，discriminator用於關聯性評價。