【重磅】Deepmind出品-自動學習並生成圖像

經過眼睛的世界不只僅是咱們角膜所反映的映像。例如，當咱們看建築物並欣賞其設計的複雜性時，咱們能夠欣賞它所需的工藝。這種經過創造它們的工具來解釋物體的能力使咱們對世界有了更加豐富的理解，而且是咱們獲取信息的一個重要方面。

咱們但願咱們的系統可以創造出一樣豐富的世界表現形式。例如，觀察繪畫的圖像時，咱們但願它會了解用於繪畫時的動做，而不只僅是在屏幕上表示它的像素。

在這項工做中（https://deepmind.com/documents/183/SPIRAL.pdf），咱們爲人造智能管家配備了與用來生成圖像相同的工具，並證實它們能夠推斷數字、人物和肖像的構造方式。相當重要的是，他們是本身學習如何作到這一點，而不須要人爲標籤的數據集。這與之造成鮮明對比最近的研究(https://arxiv.org/pdf/1704.03477.pdf)依賴於從人爲標記(human demonstrations)中學習，那樣可能會是更加耗費時間。

credit：Shutterstock

咱們設計了一個與計算機繪畫程序交互的深度強化學習系統(http://mypaint.org/)，將筆觸放在數字畫布上並更改畫筆大小、壓力大小和顏色。未經訓練的系統首先會繪製隨意的筆畫，但沒有明顯的構圖。爲了克服這一點，咱們必須建立一種獎勵機制，鼓勵系統生成有意義的圖畫。

爲此，咱們訓練了第二個神經網絡，稱爲鑑別器，其惟一目的是預測特定圖形是由機器製做的，仍是從真實照片的數據集中採樣得來。繪畫系統的獎勵是經過「欺騙」鑑別者認爲它的繪畫是真實的。換句話說，系統的獎勵信號自己就是學習的。雖然這與生成敵對網絡（GAN）中使用的方法相似，但它不一樣，由於GAN設置中的生成器一般是直接輸出像素的神經網絡。相反，咱們的系統經過編寫圖形程序來與繪圖環境交互來生成圖像。

在第一組實驗中，系統接受了訓練以生成相似於MNIST(http://yann.lecun.com/exdb/mnist/)數字的圖像：它顯示了數字的樣子，但沒有顯示它們是如何繪製的。經過嘗試生成用以欺騙鑑別器的圖像，智能系統學會了控制畫筆並操縱它以適應不一樣數字的風格--可視化程序合成技術(https://en.wikipedia.org/wiki/Program_synthesis)。

咱們也訓練它重現特定的圖像。這裏，鑑別器的目的是肯定再現的圖像是不是目標圖像的副本，或者是否已經由系統產生。鑑別者的這種區別越困難，系統獲得的獎勵(rewarded)就越多。

相當重要的是，這個框架是能夠解釋的，由於它產生了一系列控制模擬畫筆的動做。這意味着該模型能夠將其在模擬繪畫程序中學到的知識應用於其餘相似環境中的人物重建，例如在模擬(或者真實)的機器人手臂上。這個視頻能夠在這裏看到(https://youtu.be/XXM3PdIdLJQ)。

還有可能將這個框架擴展到實際的數據集上（real dataset）。通過訓練能夠繪製名人臉部表情，系統可以捕捉到臉部的主要特徵，例如形狀、色調和髮型，就像街頭藝術家在使用有限數量的畫筆描繪肖像時同樣：

從原始感覺中恢復結構化表示是人類容易擁有並常用的能力。在這項工做中，咱們代表能夠經過讓人工系統得到咱們用來重現咱們周圍世界的類似工具來指導人造系統產生相似的表示。在這樣作時，他們學會製做可視化程序，簡潔地表達引發觀察的因果關係。

儘管咱們的工做僅表明了向靈活的程序綜合化(synthesis)邁出的一小步，但咱們預計可能須要相似的技術才能使具備相似人類認知、歸納和溝通能力的人工智能成爲可能。