AI技術說：人工智能相關概念與發展簡史

做爲近幾年的一大熱詞，人工智能一直是科技圈不可忽視的一大風口。隨着智能硬件的迭代，智能家居產品逐步走進千家萬戶，語音識別、圖像識別等AI相關技術也經歷了階梯式發展。如何看待人工智能的本質？人工智能的飛速發展又經歷了哪些歷程？本文就從技術角度爲你們介紹人工智能領域常常提到的幾大概念與AI發展簡史。

1、人工智能相關概念

一、人工智能（Artifical Intelligence, AI)：就是讓機器像人同樣的智能、會思考,
是機器學習、深度學習在實踐中的應用。人工智能更適合理解爲一個產業，泛指生產更加智能的軟件和硬件，人工智能實現的方法就是機器學習。

二、數據挖掘：數據挖掘是從大量數據中提取出有效的、新穎的、有潛在做用的、可信的、並能最終被人理解模式(pattern)的非平凡的處理過程。

數據挖掘利用了統計、機器學習、數據庫等技術用於解決問題；數據挖掘不只僅是統計分析，而是統計分析方法學的延伸和擴展
，不少的挖掘算法來源於統計學。

三、機器學習：專門研究計算機怎樣模擬或實現人類的學習行爲，以獲取新的知識或技能，機器學習是對能經過經驗自動改進的計算機算法的研究。

機器學習是創建在數據挖掘技術之上發展而來，只是數據挖掘領域中的一個新興分支與細分領域，只不過基於大數據技術讓其逐漸成爲了當下顯學和主流。它是人工智能的核心，是使計算機具備智能的根本途徑，其應用遍佈人工智能的各個領域。

四、深度學習（Deep Learning）：是相對淺層學習而言的，是機器學習研究中的一個新的領域，其動機在於創建、模擬人腦進行分析學習的神經網絡。它模仿人腦的機制來解釋數據，例如圖像，聲音和文本。深度學習的概念源於人工神經網絡的研究。深度學習經過組合低層特徵造成更加抽象的高層表示屬性類別或特徵，以發現數據的分佈式特徵表示。

到了當下，通過深度學習技術訓練的機器在識別圖像方面已不遜於人類，好比識別貓、識別血液中的癌細胞特徵、識別MRI掃描圖片中的腫瘤。在谷歌AlphaGo學習圍棋等等領域，AI已經超越了人類目前水平的極限。

爲了方便你們理解，咱們將上文提到的四個概念的關係用下圖表示。須要注意的是，圖示展示的只是一種大體的從屬關係，其中數據挖掘與人工智能並非徹底的包含關係。

 

2、人工智能發展歷史

（圖片來源於網絡）

由圖能夠明顯看出Deep Learning從06年崛起以前經歷了兩個低谷，這兩個低谷也將神經網絡的發展分爲了幾個不一樣的階段，下面就分別講述這幾個階段。

一、 第一代神經網絡（1958-1969）

最先的神經網絡的思想起源於1943年的MP人工神經元模型，當時是但願可以用計算機來模擬人的神經元反應的過程，該模型將神經元簡化爲了三個過程：輸入信號線性加權，求和，非線性激活（閾值法）。以下圖所示：

1958年Rosenblatt發明的感知器（perceptron）算法。該算法使用MP模型對輸入的多維數據進行二分類，且可以使用梯度降低法從訓練樣本中自動學習更新權值。1962年，該方法被證實爲可以收斂，理論與實踐效果引發第一次神經網絡的浪潮。

 

一、 第二代神經網絡（1986~1998）

第一次打破非線性詛咒的當屬現代Deep Learning大牛Hinton，其在1986年發明了適用於多層感知器（MLP）的BP算法，並採用Sigmoid進行非線性映射，有效解決了非線性分類和學習的問題。該方法引發了神經網絡的第二次熱潮。

 

1989年，Robert Hecht-Nielsen證實了MLP的萬能逼近定理，即對於任何閉區間內的一個連續函數f，均可以用含有一個隱含層的BP網絡來逼近該定理的發現極大的鼓舞了神經網絡的研究人員。

 

同年，LeCun發明了卷積神經網絡-LeNet，並將其用於數字識別，且取得了較好的成績，不過當時並無引發足夠的注意。

 

值得強調的是在1989年之後因爲沒有特別突出的方法被提出，且神經網絡（NN）一直缺乏相應的嚴格的數學理論支持，神經網絡的熱潮漸漸冷淡下去。

 

1997年，LSTM模型被髮明，儘管該模型在序列建模上的特性很是突出，但因爲正處於NN的下坡期，也沒有引發足夠的重視。

 

三、統計學建模的春天（1986~2006）

1986年，決策樹方法被提出，很快ID3，ID4，CART等改進的決策樹方法相繼出現。

1995年，線性SVM被統計學家Vapnik提出。該方法的特色有兩個：由很是完美的數學理論推導而來（統計學與凸優化等），符合人的直觀感覺（最大間隔）。不過，最重要的仍是該方法在線性分類的問題上取得了當時最好的成績。

1997年，AdaBoost被提出，該方法是PAC（Probably Approximately Correct）理論在機器學習實踐上的表明，也催生了集成方法這一類。該方法經過一系列的弱分類器集成，達到強分類器的效果。

2000年，KernelSVM被提出，核化的SVM經過一種巧妙的方式將原空間線性不可分的問題，經過Kernel映射成高維空間的線性可分問題，成功解決了非線性分類的問題，且分類效果很是好。至此也更加終結了NN時代。

2001年，隨機森林被提出，這是集成方法的另外一表明，該方法的理論紮實，比AdaBoost更好的抑制過擬合問題，實際效果也很是不錯。

2001年，一種新的統一框架-圖模型被提出，該方法試圖統一機器學習混亂的方法，如樸素貝葉斯，SVM，隱馬爾可夫模型等，爲各類學習方法提供一個統一的描述框架。

 

四、快速發展期（2006~2012）

2006年，深度學習（DL）元年。是年，Hinton提出了深層網絡訓練中梯度消失問題的解決方案：無監督預訓練對權值進行初始化+有監督訓練微調。其主要思想是先經過自學習的方法學習到訓練數據的結構（自動編碼器），而後在該結構上進行有監督訓練微調。可是因爲沒有特別有效的實驗驗證，該論文並無引發重視。

2011年，ReLU激活函數被提出，該激活函數可以有效的抑制梯度消失問題。

2011年，微軟首次將DL應用在語音識別上，取得了重大突破。

五、爆發期（2012~至今）

2012年，Hinton課題組爲了證實深度學習的潛力，首次參加ImageNet圖像識別比賽，其經過構建的CNN網絡AlexNet一舉奪得冠軍，且碾壓第二名（SVM方法）的分類性能。也正是因爲該比賽，CNN吸引到了衆多研究者的注意。

AlexNet的創新點：

（1）首次採用ReLU激活函數，極大增大收斂速度且從根本上解決了梯度消失問題；

（2）因爲ReLU方法能夠很好抑制梯度消失問題，AlexNet拋棄了「預訓練+微調」的方法，徹底採用有監督訓練。也正由於如此，DL的主流學習方法也所以變爲了純粹的有監督學習；

（3）擴展了LeNet5結構，添加Dropout層減少過擬合，LRN層加強泛化能力/減少過擬合；

（4）首次採用GPU對計算進行加速。

 

結語：做爲21世紀最具影響力的技術之一，人工智能不只僅在下圍棋、數據挖掘這些人類本來不擅長的方面將咱們戰勝，還在圖像識別、語音識別等等領域向咱們發起挑戰。現在，人工智能也在與物聯網、量子計算、雲計算等等諸多技術互相融合、進化，以超乎咱們想象的速度發展着。而這一切的發生與演變，只用了幾十年的時間……

個人博客即將搬運同步至騰訊雲+社區，邀請你們一同入駐：https://cloud.tencent.com/developer/support-plan