[譯] 可微可塑性：一種學會學習的新方法

• 原文地址：Differentiable Plasticity: A New Method for Learning to Learn
• 原文做者：Uber Engineering
• 譯文出自：掘金翻譯計劃
• 本文永久連接：github.com/xitu/gold-m…
• 譯者：luochen
• 校對者：SergeyChang xxholly32

做爲 Uber 機器學習系統基礎的神經網絡，在解決包括圖像識別、語言理解和博弈論在內的複雜問題方面被證實是很是成功的。然而，網絡一般經過 梯度降低 訓練到一個終止點，根據屢次試驗中的網絡表現不斷調整網絡鏈接。一旦訓練完成，網絡就已經固定，鏈接再也不改變；所以，除了之後的再訓練（又須要不少樣本），實際上網絡在訓練結束時就中止學習。

相比之下，生物大腦表現出的 可塑性 —— 即在整個生命中，神經元之間鏈接持續不斷地自主變化的能力，使動物可以從持續的經驗中快速有效地學習。大腦中不一樣區域和鏈接的可塑性水平是經過數百萬年的進化而進行微調的結果，以便在動物的一輩子中進行有效地學習。由此產生的持續學習能力可讓動物只需不多的額外信息（additional data）就能適應變化或不可預測的環境。咱們能夠很快地記住之前從未見過的場景，或者在徹底陌生的狀況下從幾回試驗中得到新的知識。

爲了給咱們的人工智能體提供相似的能力，Uber 人工智能實驗室開發了 一種稱爲可微可塑性的新方法 讓咱們經過梯度降低訓練可塑的鏈接行爲，以便他們能夠幫助之前訓練的網絡適應將來的環境。雖然演化這種可塑性神經網絡是 進化計算長期研究的領域。據咱們所知，這裏介紹的工做首次代表能夠經過梯度降低優化可塑性網絡。由於最近人工智能領域的重大突破是以基於梯度的方法爲基礎的（包括 圖像識別、機器翻譯 和 對弈）。使可塑性網絡適應梯度降低訓練可能會極大擴展這兩種方法的力量。

可微可塑性是如何工做的

在咱們的方法中，每一個鏈接都會有初始權重，包括決定鏈接可塑性的係數。更準確地說，神經元 i 的激活值 y_i 計算以下：

第一個等式是神經網絡單元典型的激活函數，不包括輸入權重的固定份量（綠色）和可塑性份量（紅色）。可塑性份量的 H_i,j 項做爲輸入和輸出的函數能夠自動更新（正如在第二個等式指出的那樣，其餘公式也是能夠的，在 這篇論文 中有討論。）

在初始訓練期間，梯度降低調整結構參數 w_{i, j} 和 α_i,j 這決定了固定和可塑性份量的大小。所以，在初始訓練以後，智能體能夠從持續性的經驗中自動學習，由於每一個鏈接的可塑性份量都經過神經活動充分塑造以存儲信息，讓人想起動物（包括人類）中某些學習的形式。

展現可微可塑性

爲了展現可微可塑性的潛力，咱們將其應用於一些須要從不可預知刺激中快速學習具備挑戰性的任務。

在圖像重建任務中（圖1）網絡存儲一組從未見過的天然圖像；而後顯示這些圖像中的一張，但其中一半被擦除，而且網絡必須從記憶中重建缺失的一半。咱們展現了可微可塑性能有效地訓練具備數百萬參數的大型網絡來解決這個任務。重要的是，具備非塑性鏈接的傳統網絡（包括 LSTMs 等最早進的循環結構）沒法解決此任務，而且花費至關多的時間來學習它極大簡化的版本。

圖 1：圖像補全任務（每一行都是單獨的重建過程（episode））。在顯示三張圖像以後，網絡得到部分圖像而且必須從記憶中重建缺失的部分。非塑性網絡（包括LSTM）沒法解決此任務。源圖像來自 CIFAR10 數據集

咱們還訓練了可塑性網絡來解決 Omniglot 任務（一個標準的「學會學習」任務）這須要學習從每人單獨繪製的符號中識別一組陌生的手寫符號。此外，該方法還能夠應用於強化學習問題：可塑性網絡在迷宮探索任務中賽過非塑性網絡，其中智能體必須發現、記憶並反覆到達迷宮內的獎勵位置（圖 2）。經過這種方式，將可塑性係數添加到神經網絡這一簡單的思想提供了一種真正新穎的方法 —— 有時是最好的方法 —— 解決普遍的須要從持續經驗中不斷學習的問題。

圖 2：迷宮探索任務。智能體（黃色方塊）儘量多地到達獎勵地點（綠色方塊）從而得到獎勵（智能體在每次發現獎勵時將其轉移到隨機地點）。在第 1 次探索迷宮時（左圖），智能體的行爲實質上是隨機的。通過 300,000 次的探索（右圖）以後，智能體已經學會記住獎勵地點並向其自動尋路。

展望

實際上，可微可塑性爲 學會學習 或 元學習 這一經典問題提供了一種新的生物啓發式方法，只需經過各類強大的方式利用梯度降低和基礎構建塊（可塑性鏈接），這種方法也能很是靈活，就像上述不一樣任務所證實的那樣。

此外，它打開了多個新研究途徑的大門。例如，咱們是否能夠經過鏈接可塑性來改進現有的複雜網絡體系結構，如 LSTM？若是鏈接的可塑性受到網絡自己的控制，那麼它彷佛相似於 神經調質 影響生物大腦？可塑性是否提供了一種比單獨循環網絡更有效的記憶形式（請注意，循環網絡將傳入的信息存儲在神經活動中，而可塑性網絡將其存儲在數量更多的鏈接中）？

咱們打算在將來的可微可塑性工做中研究這些以及其餘使人興奮的問題，並但願其餘人加入咱們的探索。爲了鼓勵對這種新方法的研究，咱們 在 GitHub 發佈了上述實驗的代碼以及 描述咱們的方法和結果的論文。

要想收到將來 Uber 人工智能實驗室博客的文章，請註冊爲 咱們的郵件列表 或者你也能夠訂閱 Uber 人工智能實驗室 YouTube 頻道。若是您對加入 Uber AI 實驗室感興趣，請在 Uber.ai 上提交申請。

訂閱咱們的資訊 以跟上 Uber 工程的最新創新。

---

掘金翻譯計劃 是一個翻譯優質互聯網技術文章的社區，文章來源爲 掘金 上的英文分享文章。內容覆蓋 Android、iOS、前端、後端、區塊鏈、產品、設計、人工智能等領域，想要查看更多優質譯文請持續關注 掘金翻譯計劃、官方微博、知乎專欄。