進入深度學習以前，想清楚這些問題！

摘要： 想學深度學習？內心能沒點啥數嗎？

特別說明：這篇文章是爲了解決那些對於深度學習徹底陌生而且正在計劃進入這個領域的人。其目的是幫助他們批判性地思考該領域的複雜性，並幫助他們區分哪些是真正困難的事情，哪些是微不足道的事情。在我撰寫和發表這篇文章時，我意識到這篇文章的語氣過於挑釁，並且我不是一個好的做家，沒有能力寫一篇發人深省的文章。因此請用寬恕的心態來閱讀文章。

如今我遇到不少想進入機器學習/人工智能領域的人，尤爲是深度學習領域。有些人問我開始學習的最好方法是什麼。顯然，隨着事情的發展，彷佛沒有人可以擁有足夠的時間得到博士學位。並且在大學中作這方面的技術研究，有時候會感受到在應用程序，技術和基礎設施方面有點落後，因此這也就是爲何人工智能的大師們都在科技巨頭任職的緣由。如今幾乎每家科技巨頭都給博士生提供職位，延長實習期，這可讓你在沒有博士學位的狀況下在機器學習領域取得成功的職業生涯。你最好的選擇是什麼取決於你自身的狀況，但也取決於你想達到的目標。總之，擁有博士的頭銜進入深度學習領域，你必需要沉得住氣，由於你比其餘人走的更深，同時花費的時間也須要更多。

有些事情其實很簡單

我發現本身給予他人深度學習的通常建議是：深度學習很容易。在不選擇一些難學的領域時，學習神經網絡不該該成爲目標，而是一種順帶手完成的事情。好比如今的學習python，你就能夠順手學習一些深度學習。可是，你必需要有一個這樣的認知：

深度學習是強大的，由於它讓事情變得簡單。

深度學習爲何這樣的緣由是，它容許咱們將幾個之前不可能完成的的學習問題稱爲過分擬合的問題，經過梯度降低將其影響最小化，這在理論上是超級簡單的事情。深度學習處理咱們以前沒法處理的天然信號包括：圖像、視頻、人類語言、語音、聲音。可是幾乎不管你想要在深度學習中完成什麼目標，總能在很短的時間內完成：你將幾個須要構建模塊和想法（卷積、合併、復發）結合起來，若是你有足夠的數據，你能夠很快的將解決它。像TensorFlow、Theano、Lasagne、Blocks、Keras等愈來愈高級的開源性框架，將幫助你實現你的想法，達到你的目的。

挑選更難的東西

這並非說沒有真正的新穎想法來自深度學習，也不是說深度學習就是今天發展的這個樣子。在進行深度學習的時候，咱們也會遇到多方面的問題，解決這些問題應該是更具挑戰性。好比，生成敵對網絡和變分自動編碼器是引發對機率/生成建模新興趣的出色例子。理解爲何/如何工做，以及如何推廣/構建它們真的很難。一樣，在理解這些深層神經網絡爲何以及如何真正起做用方面還有更多使人興奮的研究方向。

在這個領域還有另一種感受，低級的深度學習正在消失。創建用於監督學習的深度神經網絡，雖然仍在改進中，可是如今不少人認爲那是很無聊的工做或許多人都能完成監督學習模型的構建（這是一個大膽的陳述，固然遠非如此），今天咱們能夠看到，模型的構建門檻已經低到一箇中學生都可以完成，可是鑑於數據標註的問題，模型的精準度是一個巨大的挑戰。因此，下一個目標就是無監督學習模型的構建，無監督學習模型確定會從深度學習工具包中受益，但它的發展也須要一種大相徑庭的思惟方式，好比說須要熟悉信息論/機率/幾何等知識。洞察如何使這些方法真正起做用的思惟方式，不大可能來自對目前神經網絡架構的改進，而是會以一種腦洞形式的思惟方式開始。

我我的認爲今天大多數人經過學習深度學習，意味着他們正在學習使用一個相對簡單的工具箱。在六個月的時間裏，許多人會擁有這些技能。這些人沒有必要花時間研究/學習那些太基礎的東西，由於你可能會錯過對工做產生真正影響的機會。把深度學習當成一個工具，而不是一個養家餬口的技術，這應該是將來的一個趨勢。

迴歸本源

什麼是最難學的例子？想一想Ian Goodfellow，Durk Kingma等做者在提出前面提到的算法時所使用的知識，如今從新發現的大部分相關內容在2000年初都進行了積極的研究。或許咱們都應該回顧學習一下經典的算法，如EM算法、變分推理、線性高斯系統的無監督學習、主成分分析、因子分析、卡爾曼濾波、慢特徵分析。我我的也能夠推薦Aapo Hyvarinen關於ICA的論文，若是你想了解一些關於深度學習前沿的技術，你應該嘗試閱讀（並理解）這個開創性的深層信念網絡論文。

快速進階到下一個技術邊界
雖然深度學習是最近發生的最有趣的突破，但咱們也嘗試押注將來可能得到相關性的領域：

· 機率編程和黑箱機率推理（帶或不帶深度神經網絡）：若是對此領域的技術感興趣能夠關注一下Picture或者Josh Tenenbaum關於反向圖形網絡的論文或者在NIPS研討會上介紹黑盒推理。在這裏我須要引用個人一個朋友的話：

機率編程能夠爲貝葉斯ML提供Theano所作的工做

· 使用或不使用深度神經網絡的MCMC和變分推理方法更好且可擴展。最近有不少關於這方面的工做。若是咱們讓MCMC像隨機梯度降低同樣可靠，那麼如今對於深層神經網絡來講，這可能意味着更多顯性貝葉斯機率模型和分層圖形模型的復甦，其中RBM僅僅是一個例子。

我之前見過這個嗎？

一樣的事情發生在幾年前，這已經成爲數據科學家的流行語。最初，使用Hadoop，Hive等是一件大事，幾位早期的使用者取得了很是成功的職業生涯。在早期，你真正須要作的就是對小型分佈式集羣進行計數，而且你很快積累了成千上萬的追隨者，他們崇拜你是大數據先驅。

那時候人們看起來很瘋狂，但從幾年後就沒有開始的新鮮感了，由於不少人如今都在使用Hadoop，並且如今Hadoop也有了新的競爭對手，像Amazon的Redshift這樣的工具讓事情變得更簡單。在那些日子裏，除非你以一種有趣的方式使用這些技術，不然這種技術優點會很快消失。在炒做週期的頂部，有數據科學實習、住宿訓練計劃、夜校培訓計劃等等。當你完成這些所謂的速成技術培訓時，這些技能其實正在變得毫無心義和微不足道。如今深度學習的發展過程看起來跟它們很是類似。

總之，若是你即將進入深度學習，想一想這意味着什麼，並嘗試更加具體項目。想一想如今還有多少人在你的位置上，你將如何確保你學到的東西可以真正的爲你創造價值。

總結

深度學習的研究領域涉及機器學習、統計學、優化、幾何學等許多有趣的且很是複雜的課題。大多數人可能遇到的深度學習——樂高積木式的深度學習，它們是相對簡單的，沒有任何競爭力的。換句話說，這種深度學習將在將來幾年成爲一種基本的技能，並不能體現出你的不同凡響的價值。若是你對這個領域徹底陌生，重要的是要看到超越這個簡單的表面，並選擇一些更難掌握的概念。

數十款阿里雲產品限時折扣中，趕忙點擊領券開始雲上實踐吧！

本文由@阿里云云棲社區組織翻譯。

文章原標題《Deep Learning is Easy - Learn Something Harder》，

譯者：虎說八道，審校：袁虎。

閱讀原文

本文爲雲棲社區原創內容，未經容許不得轉載。