先天認知與深度學習

「天賦論學說認爲，人類思惟是與生俱來的思想或知識。在這種理念中，最著名的是柏拉圖的形式理論，以及後來的笛卡爾的《沉思錄》。目前，這一觀點正在獲取神經科學方面的證據，以證明咱們確實生來就對咱們的世界有先天的認識」。

Figure 1: An elder Plato walks alongside Aristotle, The School of Athens, Raphael

然而，「天賦論」學說與「純粹主義」機器學習方法是相沖突的。在這種「純粹的」機器學習算法中，算法僅從數據中學習，而無需進行顯式編程或配備預編程的計算和邏輯模塊。

「思想的實際內容是很是深奧、無比複雜的；咱們不該該試圖尋找一些簡單的方法來思考思想的實際內容，好比用簡單的方法來思考空間、物體、多主體或對稱性等內容。全部這些都是任意的、內在複雜的外部世界的一部分。它們不是應該被內置的，由於它們的複雜性是無止境的；相反，咱們應該只構建那些可以發現和捕獲這種任意複雜性的元方法。」

——The Bitter Lesson
Rich Sutton
March 13, 2019

可是，有一種持截然相反觀念的思想流派，建議將符號主義人工智能技術與深度學習相結合。

深度學習的將來

紐約大學教授Gary Marcus等人提倡的一種觀點認爲，深度學習須要與更古老的、象徵主義的人工智能技術相結合，以達到人類的智能水平。可是，Hinton並不這麼認爲。Hinton將此比做使用電動馬達卻僅僅用來驅動汽油發動機的噴油器，儘管電力更節能。

與此同時，混合模型可能可以會解決深度學習明顯的侷限性，特別是關於「深度學習目前缺少一個明確的定義來學習抽象概念的機制，當有成千上萬、數百萬甚至數十億的訓練實例時，這種方法效果是最好」。

你是否定爲咱們最好把GOFAI融入深度學習呢？爭論仍在激烈進行。

新的神經學證據

在我看來，其實這些討論最終都歸結爲一個問題——咱們人類是經過經驗來學習一切，仍是生來就具備某種形式的先天認知?

在《美國國家科學院院刊》（PNAS）上發表的一項研究表示：

「研究發現了一種突觸組織原理，它以一種動物間廣泛存在的方式將神經元分組，從而獨立於個體經驗」

——A synaptic organizing principle for cortical neuronal groups
By Rodrigo Perin, Thomas K. Berger, and Henry Markram

這樣的集羣包含物理世界某些簡單工做的內容。

「在動物的新皮層中同時出現的神經元羣，或稱細胞集合體，本質上是細胞的‘積木’。對許多動物來講，學習、感知和記憶多是將這些碎片拼湊在一塊兒的結果，而不是造成新的細胞組合。」

——Are We Born With Knowledge?
in Uncategorized

分界線

隨着愈來愈多的神經學證據支持先天認知的存在，用「先天」的計算模塊或原語來裝備深度學習多是有意義的。同時，其中的一些原語頗有可能將基於那些從GOFAI借鑑或啓發的思想。

另外一方面，咱們很難預測將來的深度學習架構會是什麼樣子。Yoshua Bengio本人也認可，「在神經網絡可以達到人類大腦所擁有的通常智力以前，深度學習的新架構是很須要的。」

在我看來，與諸如神經後端和符號前端（如圖2）的清晰並置相反，符號操做極可能會與神經體系結構深度耦合和糾纏在一塊兒。「 與通用計算機程序相比，它們的模型要比咱們當前可區分的層更豐富的基元之上構建，這是咱們將如何進行推理和抽象的方法，也是當前模型的基本弱點 」

Figure 2: Deep Symbolic Reinforcement Learning, the neural back end learns to map raw sensor data into a symbolic representation, which is used by the symbolic front end to learn an effective policy (source)

這代表，「純粹主義」和「混合主義」這兩種方法之間的界限很是模糊。所以我認爲，在觀點上的分歧更多程度上是重點不一樣產生的分歧，而不是根本的分歧。

原文連接：https://towardsdatascience.co...

歡迎點擊「京東雲」瞭解更多精彩內容

以上信息來源於網絡，由「京東雲開發者社區」公衆號編輯整理，不表明京東雲立場。