無監督條件下，GAN 模型潛在語義的識別彷佛是一件很是具備挑戰性的任務。最近，香港中文大學周博磊等人提出了一種名爲「SeFa」的方法，爲該問題提供了更優解。
SeFa 方法可以識別出不一樣 GAN 模型的潛在語義，進而進行圖像編輯。以下圖所示：git
除了動漫之外，SeFa 方法還能夠處理場景、人物、動物、物體等不一樣的圖像。github
下圖展現了對「貓片」的操控效果：算法
貓姿式的左右移動。網絡
貓姿式的上下移動。須要注意的是，在圖像變換過程當中，咱們能夠看到，仍是有僞影的存在。性能
藉助 SeFa 方法，咱們還能夠調整車輛的形狀：學習
以及調整車輛方向：spa
更多效果展現，請戳如下視頻：3d
00:00/00:00倍速code
接下來，咱們來看該問題的難點以及 SeFa 方法的新穎之處。orm
如何解釋 GAN 的潛在空間？
生成對抗網絡（GAN）在圖像合成領域的應用已經十分普遍。近期的一些研究代表，在學習合成圖像時，GAN 會自發地在潛在空間中表示出多種可解釋屬性，如用於人臉合成的性別特徵、用於場景合成的光照條件。經過正確識別這些語義，咱們能夠將 GAN 學習到的知識從新利用，合理地控制圖像生成過程，從而實現圖像編輯功能的更普遍應用，如人臉操縱和場景編輯。
解釋 GAN 潛在空間的關鍵點在於找到與人類可理解屬性相對應的子空間。經過這種方法，將潛碼（latent code）向特定子空間的方向移動，便可對應地改變合成圖像的語義。然而，因爲潛在空間的高維性以及圖像語義的多樣性，在潛在空間中尋找有效方向是極具挑戰性的。
現有的監督學習方法一般先隨機抽取大量潛碼，而後合成一組圖像，並使用一些預約義標籤進行圖像標註，最後利用這些標註樣本學習潛在空間中的分離邊界（separation boundary）。要想獲得訓練該邊界的標籤，要麼引入預訓練語義預測器，要麼利用圖像的一些簡單統計信息。
港中文周博磊等人提出新方法「SeFa」，解釋 GAN 內部表徵
以往的方法嚴重依賴於預約義的語義和標註樣本，存在侷限性。最近，來自香港中文大學的研究者提出了一種新的生成方法，再也不將合成樣本做爲中間步驟，而是經過直接探索 GAN 的生成機制來解釋其內部表徵。
論文地址：https://arxiv.org/pdf/2007.06600.pdf
代碼地址：https://github.com/genforce/sefa
項目主頁：https://genforce.github.io/sefa/
具體而言，對於全部基於神經網絡的 GAN，第一步一般採用一個全鏈接層將潛碼輸入到生成器中，它提供了將潛在空間投影到變換空間（transformed space）的驅動力。這種變換實際上過濾了潛在空間中一些不重要的方向，從而突出了圖像合成的關鍵方向。
可以識別這些重要的潛在方向，咱們就可以控制圖像生成過程，即編輯合成圖像的語義。
在這篇論文中，研究者提出了一種新穎而簡單的閉式方法「SeFa」，可用於 GAN 的潛在語義分解。現有方法一般使用三個步驟（採樣、標註和邊界搜索），而 SeFa 方法只需使用 GAN 模型學得的權重進行語義發現。
實驗結果代表，這一方法可以經過很是快速和高效的實現（1 秒內），識別通用的潛在語義，在無監督條件下便可從不一樣類型的 GAN 模型中識別多種語義。具體方法可見論文。
下圖展現了一些操做實例。即便咱們不知道圖像中對象的底層 3D 模型或姿態標籤，也仍然進行旋轉，而且該方法支持在 PGGAN、StyleGAN、BigGAN、StyleGAN2 等多個 GAN 模型中發現人類可理解的語義。
SeFa 的實驗效果
研究者在多個 SOTA GAN 模型上進行大量實驗，以評估所提出方法的效果，這些模型包括 PGGAN、StyleGAN、BigGAN 和 StyleGAN2。這些模型在多個數據集上進行了訓練，包括人臉（CelebA-HQ 和 FF-HQ）、動漫人臉、場景和物體（LSUN）、街景和 ImageNet 等。爲了對人臉進行定量分析，研究者在以前研究 [23] 的基礎上，使用 ResNet-50 在 CelebA 數據集上訓練了一個屬性預測器。
無監督基準的對比
下圖 3 展現了與基於採樣的無監督方法之間的定性對比。
能夠看出，SeFa 的生成結果（b 行）更接近於監督方法 InterFaceGAN（c 行）所生成的結果。例如在 StyleGAN 上使用 PCA 編輯姿式時，身份和髮型會發生變化（a 行）。
圖 3：語義定性對比。（a）基於採樣的無監督方法 [10]；（b）該研究提出的閉式方法 SeFa；（c）監督方法 InterFaceGAN。
接下來是與基於學習的無監督方法的對比。
如下圖 4 爲例，當使用 Info-PGGAN 進行編輯時，頭髮的顏色會發生變化。
圖 4：Info-PGGAN (a) 和 SeFa (b) 發現語義的定性對比。
監督方法對比和語義屬性分析
接下來，研究者對比了 SeFa 與監督學習 SOTA 方法 InterFaceGAN 在潛在語義發現方面的性能，具體而言從如下兩個角度進行分析：（a）在分離語義方面的區別，（b）識別語義的多樣性。
表 2 展現了經過評估語義得分隨潛碼調整而發生的變化，對不一樣方法進行從新評分分析。每一行展現了將潛碼朝某個方向移動的結果。
在下圖 5 中，研究者將本文方法與監督方法 InterFaceGAN 進行對比。如圖 5 (a) 所示，SeFa 成功地識別了與髮色、髮型和膚色這些要素對應的方向。同時該方法還能夠識別更復雜的屬性 ，如圖 5 (b) 中的不一樣髮型。
圖 5：a）多樣化的語義，InterFaceGAN 因缺少語義預測期而沒法識別；b）沒法用二元屬性描述的不一樣髮型。
隨後，研究者將 GAN 逆映射方法引入到這項工做中，以實現真實圖像的處理。具體而言，給定一個待編輯的目標圖像，咱們首先將它投影到潛碼，而後使用發現的潛在語義來調整逆代碼。
以下圖 6 所示，該研究提出的閉式方法所發現的語義是足夠精確的，能夠操縱真實的圖像。例如，研究人員設法在輸入圖像中添加或刪除眼鏡（圖 6 的第四列）。
圖 6：對真實圖像進行不一樣面部屬性的處理。全部語義都是用 SeFa 找到的，GAN 逆映射用於將做爲目標的真實圖像投影回 StyleGAN 的潛在空間。
在其餘 GAN 模型上的泛化表現
這部分驗證了 SeFa 算法的泛化能力，即應用到在不一樣數據集上訓練的各種 SOTA GAN 模型的效果。
圖 7：從基於風格的生成器中發現的層級語義。其中街景模型使用了 StyleGAN2 進行訓練，其餘模型使用了 StyleGAN。
圖 8：從 BigGAN 中發現的多樣性語義，該模型在 ImageNet 上進行了有條件的訓練。這些語義被進一步用於處理不一樣類別的圖像。