不被大神Hinton認同，否認現有同行成果，谷歌這篇燒腦研究最終拿下ICML2019最佳論文

 

文章發佈於公號【數智物語】 （ID：decision_engine），關注公號不錯過每一篇乾貨。

 

 

 

做者 | 曉查 栗子 安妮

發自 | 凹非寺

量子位 出品 | 公衆號 QbitAI

 

ICML 2019最佳論文來了！

 

今年，共有3424篇論文提交到這場一年一度的機器學習國際頂會上，大會共接收了774篇。有兩篇論文，從千軍萬馬中脫穎而出，成爲ICML 2019最佳論文。

 

 

這份大獎花落誰家？谷歌的一篇名爲《挑戰無監督分離式表徵的常見假設》的論文，代表 (沒有概括偏置的) 無監督方法學不到可靠的分離式表徵 (Disentangled Representations) 。

 

這項極富智慧和勇氣的研究，幾乎全面否認了現有的同行成果，也證實Hinton曾經的觀點有問題：

 

 

另外一篇爲《稀疏變分高斯過程迴歸的收斂速率》，做者爲劍橋大學的3位研究人員。

 

詳細看今年的最佳研究：

 

01最佳論文1：分離式表徵，無法無監督學習

 

先用一句話歸納一下：谷歌大腦、ETH蘇黎世、馬普所組成的團隊測試了12,000個模型，對現有的無監督分離式表徵學習研究，發出了嚴重的質疑。

 

理解高維數據，用無監督的方式，把知識蒸餾成有用的表徵，是深度學習的一個重要挑戰。

 

一種方法是利用分離式表徵(disentangled representation)的模型，它能夠捕捉到各類相互獨立的特徵，若是其中一個特徵改變了，其餘特徵不會受到影響。

 

 

這樣的方法一旦成功，就能夠作出真實世界裏也能用的機器學習系統，不管是給機器人，仍是給自動駕駛車，以便應對訓練中沒見過的場景。

 

不過，在無監督的分離式表徵學習上，新近的研究都很難看出這些方法到底有多好，侷限又有多大。

 

谷歌AI團隊給各類新近的成果，作了一個大規模的評估。評估結果對現有研究提出了嚴肅的挑戰。而且給分離式學習往後的研究，提供了一些建議。

 

什麼叫大規模的評估？谷歌團隊訓練了12,000個模型，覆蓋了目前最重要的方法，以及評估指標。

 

 

重要的是，評估過程當中用到的代碼，以及10,000個預訓練模型，都已對外公佈。

 

它們共同組成了一個巨大的庫，叫作disentanglement_lib。讓後來的研究人員，能夠輕鬆站到前人的肩膀上。

 

大規模測試事後，谷歌發現了兩個重大的問題：

 

一、並無發現任何經驗證據，顯示無監督方法能夠學到可靠的分離式表徵，由於隨機種子和超參數彷佛比模型的選擇 (Model Choice) 更重要。

 

也就是說，就算訓練了大量的模型，一部分得出了分離式表徵，也很難在不看ground truth標籤的狀況下把這些表徵找出來。

 

除此以外，好用的超參數值，也並無在多個數據集裏都好用。

 

谷歌團隊說，這些結果吻合了他們提出的定理：

 

在數據集和模型沒有概括偏置 (Inductive Biases) 的狀況下，用無監督的方法學習分離式表徵是不可能的。

 

換句話說，必需要在數據集和模型上，加個前提。

 

二、在參加評估的模型和數據集上，並無證明分離式表徵對下游任務有幫助，好比：沒有證據代表用了分離式表徵，AI就能夠用更少的標註來學習。

 

給後來者的建議是：

 

一、鑑於理論結果證明，不帶概括偏置 (Inductive Biases) 的、無監督學習的分離式表徵是不可能實現的，將來的研究應該清楚地描述出概括偏置，以及隱式和顯式的監督方式。

 

二、爲跨數據集的無監督模型選擇，找到好用的概括偏置，是一個很是關鍵的問題。

 

三、用了分離式表徵學習以後產生的具體優點，應該要證實出來。

 

四、實驗，應該有能夠復現的實驗設定，在多種多樣的數據集裏適用。

 

 

順便提一句，這是一項中選了ICLR 2019 workshop的研究，卻最終成了ICML的最佳論文。

 

02最佳論文2：稀疏變分高斯過程迴歸的收斂速率

 

今年ICML的第二篇最佳論文是來自英國劍橋大學和機器學習平臺Prowler.io的研究。

 

 

以前已經有人開發出了一種高斯過程後驗的極好變分近似。避免出現數據集大小爲N，計算時間複雜度爲O(N3)的狀況，將計算成本下降到O(NM2)，其中M是一個遠小於N的數。

 

雖然計算成本對於N是線性的，但算法的真正複雜度取決於如何增長M以確保必定的近似質量。

 

本文經過描述向後KL散度（相對熵）上界的行爲來解決這個問題。研究者證實，若M比N增加得更慢，KL散度頗有可能會變得任意小。一個特例是，對於在具備常見的平方指數核的D維正態分佈輸入的迴歸，只要M = O(logD N)就足夠保證收斂了。

 

結果代表，隨着數據集的增加，高斯過程後驗機率能夠被很是容易地近似，併爲如何在連續學習場景中增長M提供了一種具體的規則。

 

研究者證實了，從稀疏廣義迴歸變分近似到後驗廣義迴歸的KL散度的邊界，它只依賴於以前核的協方差算子特徵值的衰減。

 

這個邊界證實訓練數據集中在一個小區域的光滑核容許高質量、很是稀疏的近似。當M≪N時，真正稀疏的非參數推斷仍然能夠提供對邊界似然性和逐點後驗的可靠估計。

 

本文做者在最後指出，具備非共軛可能性的模型的擴展，尤爲是在Hensman等人的框架中由稀疏性引入的附加偏差，爲將來的研究提供了一個有前景的方向。

 

這篇文章的第一做者是來自劍橋大學信息工程系的博士研究生David Burt，他的主要研究領域是貝葉斯非參數和近似推理。

 

 

做者之一Mark van der Wilk是Prowler.io的研究者，他也是劍橋大學機器學習專業的在讀博士研究生，主要的研究領域是貝葉斯推理、強化學習、高斯過程模型等。

 

037篇最佳論文提名

 

除了2篇最佳論文外，還有7篇論文得到最佳論文提名，分別爲：

一、Analogies Explained: Towards Understanding Word Embeddings（愛丁堡大學）

 

論文地址：
https://arxiv.org/abs/1901.09813

 

二、SATNet: Bridging deep learning and logical reasoning using a differentiable satisfiability solver（CMU、南加州大學等）

 

論文地址：
https://arxiv.org/abs/1905.12149

 

三、A Tail-Index Analysis of Stochastic Gradient Noise in Deep Neural Networks（巴黎薩克雷大學等）

 

論文地址：
https://arxiv.org/abs/1901.06053

 

四、Towards A Unified Analysis of Random Fourier Features（牛津大學、倫敦過國王學院）

 

論文地址：
https://arxiv.org/abs/1806.09178

 

五、Amortized Monte Carlo Integration（牛津大學等）

 

論文地址：
http://www.gatsby.ucl.ac.uk/~balaji/udl-camera-ready/UDL-12.pdf

六、Social Influence as Intrinsic Motivation for Multi-Agent Deep Reinforcement Learning（MIT、DeepMind、普林斯頓）

論文地址：
https://arxiv.org/abs/1810.08647

 

七、Stochastic Beams and Where to Find Them: The Gumbel-Top-k Trick for Sampling Sequences Without Replacement（荷蘭阿姆斯特丹大學等）

 

論文地址：

https://arxiv.org/abs/1903.06059

 

04國內多所高校上榜

 

和往常相比，今年的ICML格外熱鬧。

 

德國博世公司抓取了ICML 19官網上的接收數據，將論文的接受比例、貢獻最多的機構以及貢獻最大的我的做者統計了出來。很多國內高校和學者榜上有名。

 

原統計地址：
https://www.reddit.com/r/MachineLearning/comments/bn82ze/n_icml_2019_accepted_paper_stats/

 

今年，共提交了3424篇論文，接收了774篇，接收率爲22.6%。2018年，ICML的論文提交量爲2473篇，接收621篇，接收率爲25%。

 

和去年相比，今年論文提交論文數量增加很多，但錄取率下降。那麼，在這麼多投稿機構中，誰是其中貢獻度最高的那一個？

 

博世統計了接收論文的機構，排名標準是衡量一個機構貢獻的論文總量，最終統計結果以下：

 

 

上圖紅色表示每一個機構包含的第一做者，綠色爲最後包含的排名最後的做者

 

結果顯示，科技巨頭Google貢獻最多，MIT第二，加州大學伯克利分校奪得季軍。

 

其中，清華大學、北京大學、南京大學、香港中文大學、上海交通大學、阿里巴巴等多箇中國高校和公司榜上有名。

 

在這些接收論文中，來自學術界的論文數量遠多於工業界，論文來源構成以下：

 

• 452篇論文（58.4％）爲純學術研究

• 60篇論文（7.8％）來自純產業界研究機構

• 262篇論文（33.9％）的做者同時隸屬於學術界和工業界

 

整體來看，學術界貢獻了77%的論文，產業界貢獻了23%。

 

在這麼多投稿的做者中，哪些做者的貢獻度最高？博世一樣對此進行了統計。

 

 

結果顯示，加州大學伯克利分校的機器學習大牛Michael Jordan參與論文數量最多，EPFL（洛桑聯邦理工學院）教授Volkan Cevher位列第二，加州大學伯克利分校的Sergey Levine排名第三。

 

 

也有很多中國學者戰績頗佳，清華大學計算機科學與技術系的教授朱軍、微軟亞洲研究院的劉鐵巖、清華大學軟件學院的龍明盛等都在ICML 2019發表了4篇論文。

 

05傳送門

 

最後，附上今年的ICML 2019大會官網：
https://icml.cc/

 

 

 

星標我，天天多一點智慧