谷歌最新開源軟件庫， 5 行代碼構建無限寬度網絡集成模型

技術編輯：王治治丨發自 思否療養院
SegmentFault 思否報道丨公衆號：SegmentFault

---

近日，谷歌開源了一個用 JAX 編寫的軟件庫 Neural Tangents，這是一個用於高性能機器學習研究的系統，只在幫助同時構建寬度可變的 AI 模型。

最厲害的是，它讓數據科學家們只需使用五行代碼就能夠一次性構建和訓練無限寬網絡的集成模型。谷歌表示，這可讓人們對模型的行爲有「史無前例的 洞察力，並幫助打開機器學習的黑匣子」。

---

正如谷歌高級研究科學家 Samuel S. Schoenholz 和研究工程師 Roman Novak 在一篇文章中所解釋的那樣，令人工智能研究取得進展的關鍵洞察力之一是，增長模型的寬度會致使更多的行爲規律性，並使其更容易理解。

經過重複實驗，全部的神經網絡模型都包含以相互鏈接的層級排列的神經元（數學函數），它們從輸入數據中傳輸信號，並緩慢調整每一個鏈接的突觸強度（權重）。這就是它們如何提取特徵並學習進行預測的方式。

而容許無限寬的機器學習模型傾向於收斂到另外一類更簡單的模型，稱爲高斯過程。

在這個極限中，複雜的現象歸結爲簡單的線性代數方程，能夠做爲研究人工智能的透鏡。可是，推導出無限寬極限的有限模型須要數學專業知識，必須針對每一個架構分別求出。並且，一旦推導出無限寬模型後，要想出一個高效、可擴展的實現，須要工程上的熟練程度，可能須要幾個月的時間。

這次谷歌開源的軟件庫 Neural Tangents，則能夠大幅下降操做難度和時間，讓數據科學家們只需使用 5 行代碼就能夠一次性的構建和訓練無限寬度網絡的集成模型。而且根據谷歌工做人員表示，所構建的模型基本能夠應用於任何的常模模型問題。

"咱們看到，模仿有限神經網絡、無限寬網絡的性能遵循相似的層次結構，全鏈接網絡的性能比卷積網絡差，而卷積網絡的性能又比寬殘差網絡差，"研究人員寫道。"然而，與常規訓練不一樣的是，這些模型的學習動態是徹底可牽引的閉合形式，這使得人們能夠對其行爲有新的洞察力。"

---

GitHub 地址：
https://github.com/google/neu...

Google Colaboratory 筆記：
https://colab.research.google...