簡單讀懂人工智能：機器學習與深度學習是什麼關係

引言：隨着AlphaGo打敗李世石，人工智能和深度學習這些概念已經成爲一個很是火的話題。人工智能、機器學習與深度學習這幾個關鍵詞時常出如今媒體新聞中，並錯誤地被認爲是等同的概念。本文將介紹人工智能、機器學習以及深度學習的概念，並着重解析它們之間的關係。本文將從不一樣領域須要解決的問題入手，依次介紹這些領域的基本概念以及解決領域內問題的主要思路。
本文選自《Tensorflow：實戰Google深度學習框架》。

　　從計算機發明之初，人們就但願它可以幫助甚至代替人類完成重複性勞做。利用巨大的存儲空間和超高的運算速度，計算機已經能夠很是輕易地完成一些對於人類很是困難，但對計算機相對簡單的問題。好比，統計一本書中不一樣單詞出現的次數，存儲一個圖書館中全部的藏書，或是計算很是複雜的數學公式，均可以輕鬆經過計算機解決。然而，一些人類經過直覺能夠很快解決的問題，目前卻很難經過計算機解決。這些問題包括天然語言理解、圖像識別、語音識別，等等。而它們就是人工智能須要解決的問題。
　　計算機要像人類同樣完成更多智能的工做，須要掌握關於這個世界海量的知識。好比要實現汽車自動駕駛，計算機至少須要可以判斷哪裏是路，哪裏是障礙物。這個對人類很是直觀的東西，但對計算機倒是至關困難的。路有水泥的、瀝青的，也有石子的甚至土路。這些不一樣材質鋪成的路在計算機看來差距很是大。如何讓計算機掌握這些人類看起來很是直觀的常識，對於人工智能的發展是一個巨大的挑戰。不少早期的人工智能系統只能成功應用於相對特定的環境（specific domain），在這些特定環境下，計算機須要瞭解的知識很容易被嚴格而且完整地定義。例如，IBM的深藍（Deep Blue）在1997年戰勝了國際象棋冠軍卡斯帕羅夫。設計出下象棋軟件是人工智能史上的重大成就，但其主要挑戰不在於讓計算機掌握國際象棋中的規則。國際象棋是一個特定的環境，在這個環境中，計算機只須要了解每個棋子規定的行動範圍和行動方法便可。雖然計算機早在1997年就能夠擊敗國際象棋的世界冠軍，可是直到20年後的今天，讓計算機實現大部分紅年人均可以完成的汽車駕駛卻仍然依舊十分困難。
　　爲了使計算機更多地掌握開放環境（open domain）下的知識，研究人員進行了不少嘗試。其中一個影響力很是大的領域是知識圖庫（Ontology）。WordNet是在開放環境中創建的一個較大且有影響力的知識圖庫。WordNet是由普林斯頓大學（Princeton University）的George Armitage Miller教授和Christiane Fellbaum教授帶領開發的，它將155287個單詞整理爲了117659個近義詞集（synsets）。基於這些近義詞集，WordNet進一步定義了近義詞集之間的關係。好比同義詞集「狗」屬於同義詞集「犬科動物」，他們之間存在種屬關係（hypernyms/hyponyms）。除了WordNet，也有很多研究人員嘗試將Wikipedia中的知識整理成知識圖庫。谷歌的知識圖庫就是基於Wikipedia建立的。
　　雖然使用知識圖庫可讓計算機很好地掌握人工定義的知識，但創建知識圖庫一方面須要花費大量的人力物力，另外一方面能夠經過知識圖庫方式明肯定義的知識有限，不是全部的知識均可以明確地定義成計算機能夠理解的固定格式。很大一部分沒法明肯定義的知識，就是人類的經驗。好比咱們須要判斷一封郵件是否爲垃圾郵件，會綜合考慮郵件發出的地址、郵件的標題、郵件的內容以及郵件收件人的長度，等等。這是收到無數垃圾郵件騷擾以後總結出來的經驗。這個經驗很難以固定的方式表達出來，並且不一樣人對垃圾郵件的判斷也會不同。如何讓計算機能夠跟人類同樣從歷史的經驗中獲取新的知識呢？這就是機器學習須要解決的問題。
　　卡內基梅隆大學（Carnegie Mellon University）的Tom Michael Mitchell教授在1997年出版的書籍Machine Learning中對機器學習進行過很是專業的定義，這個定義在學術界內被屢次引用。在這本書中對機器學習的定義爲「若是一個程序能夠在任務T上，隨着經驗E的增長，效果P也能夠隨之增長，則稱這個程序能夠從經驗中學習」。經過垃圾郵件分類的問題來解釋機器學習的定義。在垃圾郵件分類問題中，「一個程序」指的是須要用到的機器學習算法，好比邏輯迴歸算法；「任務T」是指區分垃圾郵件的任務；「經驗E」爲已經區分過是否爲垃圾郵件的歷史郵件，在監督式機器學習問題中，這也被稱之爲訓練數據；「效果P」爲機器學習算法在區分是否爲垃圾郵件任務上的正確率。
　　在使用邏輯迴歸算法解決垃圾郵件分類問題時，會先從每一封郵件中抽取對分類結果可能有影響的因素，好比說上文提到的發郵件的地址、郵件的標題及收件人的長度，等等。每個因素被稱之爲一個特徵（feature）。邏輯迴歸算法能夠從訓練數據中計算出每一個特徵和預測結果的相關度。好比在垃圾郵件分類問題中，可能會發現若是一個郵件的收件人越多，那麼郵件爲垃圾郵件的機率也就越高。在對一封未知的郵件作判斷時，邏輯迴歸算法會根據從這封郵件中抽取獲得的每個特徵以及這些特徵和垃圾郵件的相關度來判斷這封郵件是否爲垃圾郵件。
　　在大部分狀況下，在訓練數據達到必定數量以前，越多的訓練數據可使邏輯迴歸算法對未知郵件作出的判斷越精準。也就是說邏輯迴歸算法能夠根據訓練數據（經驗E）提升在垃圾郵件分類問題（任務T）上的正確率（效果P）。之因此說在大部分狀況下，是由於邏輯迴歸算法的效果除了依賴於訓練數據，也依賴於從數據中提取的特徵。假設從郵件中抽取的特徵只有郵件發送的時間，那麼即便有再多的訓練數據，邏輯迴歸算法也沒法很好地利用。這是由於郵件發送的時間和郵件是否爲垃圾郵件之間的關聯不大，而邏輯迴歸算法沒法從數據中習得更好的特徵表達。這也是不少傳統機器學習算法的一個共同的問題。
　　相似從郵件中提取特徵，如何數字化地表達現實世界中的實體，一直是計算機科學中一個很是重要問題。若是將圖書館中的圖書名稱儲存爲結構化的數據，好比儲存在Excel表格中，那麼能夠很是容易地經過書名查詢一本書是否在圖書館中。若是圖書的書名都是存在非結構化的圖片中，那麼要完成書名查找任務的難度將大大增長。相似的道理，如何從實體中提取特徵，對於不少傳統機器學習算法的性能有巨大影響。咱們看一個簡單的例子。
　　　　　　　　　　
　　　　　　　　　　　　　　　　不一樣的數據表達對使用直線劃分不一樣顏色結點的難度影響

　　若是經過笛卡爾座標系（cartesian coordinates）來表示數據，那麼不一樣顏色的結點沒法被一條直線劃分。若是將這些點映射到極角座標系（polar coordinates），那麼使用直線劃分就很容易了。一樣的數據使用不一樣的表達方式會極大地影響解決問題的難度。一旦解決了數據表達和特徵提取，不少人工智能任務也就解決了90%。
　　然而，對許多機器學習問題來講，特徵提取不是一件簡單的事情。在一些複雜問題上，要經過人工的方式設計有效的特徵集合，須要不少的時間和精力，有時甚至須要整個領域數十年的研究投入。例如，假設想從不少照片中識別汽車。如今已知的是汽車有輪子，因此但願在圖片中抽取「圖片中是否出現了輪子」這個特徵。但實際上，要從圖片的像素中描述一個輪子的模式是很是難的。雖然車輪的形狀很簡單，但在實際圖片中，車輪上可能會有來自車身的陰影、金屬車軸的反光，周圍物品也可能會部分遮擋車輪。實際圖片中各類不肯定的因素讓咱們很難直接抽取這樣的特徵。
　　既然人工的方式沒法很好地抽取實體中的特徵，那麼是否有自動的方式呢？答案是確定的。深度學習解決的核心問題之一就是自動地將簡單的特徵組合成更加複雜的特徵，並使用這些組合特徵解決問題。深度學習是機器學習的一個分支，它除了能夠學習特徵和任務之間的關聯之外，還能自動從簡單特徵中提取更加複雜的特徵。下圖展現了深度學習和傳統機器學習在流程上的差別。
　　　　　　　
　　　　　　　　　　　　　　　　　　　　　傳統機器學習和深度學習流程對比
　　　　　　　　　　　　　　　　　　　　　
　　如圖所示，深度學習算法能夠從數據中學習更加複雜的特徵表達，使得最後一步權重學習變得更加簡單且有效。
　　　　　　　　　
　　　　　　　　　　　　　　　　　　　深度學習在圖像分類問題上的算法流程樣例
　　　　　　　　　　　　　　　　　　　
　　在上圖中，展現了經過深度學習解決圖像分類問題的具體樣例。深度學習能夠一層一層地將簡單特徵逐步轉化成更加複雜的特徵，從而使得不一樣類別的圖像更加可分。好比圖中展現了深度學習算法能夠從圖像的像素特徵中逐漸組合出線條、邊、角、簡單形狀、複雜形狀等更加有效的複雜特徵。
　　早期的深度學習受到了神經科學的啓發，它們之間有很是密切的聯繫。科學家們在神經科學上的發現使得咱們相信深度學習能夠勝任不少人工智能的任務。神經科學家發現，若是將小白鼠的視覺神經鏈接到聽覺中樞，一段時間以後小鼠能夠習得使用聽覺中樞「看」世界。這說明雖然哺乳動物大腦分爲了不少區域，但這些區域的學習機制倒是類似的。在這一假想獲得驗證以前，機器學習的研究者們一般會爲不一樣的任務設計不一樣的算法。並且直到今天，學術機構的機器學習領域也被分爲了天然語言處理、計算機視覺和語音識別等不一樣的實驗室。由於深度學習的通用性，深度學習的研究者每每能夠跨越多個研究方向甚至同時活躍於全部的研究方向。
　　雖然深度學習領域的研究人員相比其餘機器學習領域更多地受到了大腦工做原理的啓發，並且媒體界也常常強調深度學習算法和大腦工做原理的類似性，但現代深度學習的發展並不拘泥於模擬人腦神經元和人腦的工做機理。模擬人類大腦也再也不是深度學習研究的主導方向。咱們不該該認爲深度學習是在試圖模仿人類大腦。目前科學家對人類大腦學習機制的理解還不足覺得當下的深度學習模型提供指導。
　　現代的深度學習已經超越了神經科學觀點，它能夠更普遍地適用於各類並非由神經網絡啓發而來的機器學習框架。值得注意的是，有一個領域的研究者試圖從算法層理解大腦的工做機制，它不一樣於深度學習的領域，被稱爲「計算神經學」（computational neuroscience）。深度學習領域主要關注如何搭建智能的計算機系統，解決人工智能中遇到的問題。計算神經學則主要關注如何創建更準確的模型來模擬人類大腦的工做。

全文閱讀：http://click.aliyun.com/m/14460/