機器學習必知的八大神經網絡架構

爲何須要機器學習？

  有些任務直接編碼較爲複雜，咱們不能處理全部的細微之處和簡單編碼，所以，機器學習頗有必要。相反，咱們向機器學習算法提供大量數據，讓算法不斷探索數據並構建模型來解決問題。好比：在新的雜亂照明場景內，重新的角度識別三維物體；編寫一個計算信用卡交易詐騙機率的程序。

  機器學習方法以下：它沒有爲每一個特定的任務編寫相應的程序，而是收集大量事例，爲給定輸入指定正確輸出。算法利用這些事例產生程序。該程序與手寫程序不一樣，可能包含數百萬的數據量，也適用於新事例以及訓練過的數據。若數據改變，程序在新數據上訓練且被更新。大量的計算比支付手寫程序要便宜的多。

機器學習的應用以下：

1.模式識別：識別實際場景的面部或表情、語言識別。

2.識別異常：信用卡交易順序異常，核電廠傳感器讀數模式異常。

3.預測：將來股價或貨幣匯率，我的觀影喜愛。

什麼是神經網絡？

神經網絡是一種通用機器學習模型，是一套特定的算法集，在機器學習領域掀起了一場變革，自己就是普通函數的逼近，能夠應用到任何機器學習輸入到輸出的複雜映射問題。通常來講，神經網絡架構可分爲3類：

1.前饋神經網絡：是最多見的類型，第一層爲輸入，最後一層爲輸出。若是有多個隱藏層，則稱爲「深度」神經網絡。它可以計算出一系列事件間類似轉變的變化，每層神經元的活動是下一層的非線性函數。

2.循環神經網絡：各節點之間構成循環圖，能夠按照箭頭的方向回到初始點。循環神經網絡具備複雜的動態，難以訓練，它模擬連續數據，至關於每一個時間片斷具備一個隱藏層的深度網絡，除了在每一個時間片斷上使用相同的權重，也有輸入。網絡能夠記住隱藏狀態的信息，可是很難用這點來訓練網絡。

3.對稱鏈接網絡：和循環神經網絡同樣，但單元間的鏈接是對稱的（即在兩個方向的鏈接權重相同），它比循環神經網絡更容易分析，可是功能受限。沒有隱藏單元的對稱鏈接的網絡被稱爲「Hopfiels網絡」，有隱藏單元的對稱鏈接的網絡則被稱爲「波茲曼機器」。

1、感知機（Perceptron）

 

        做爲第一代神經網絡，感知機是隻有一個神經元的計算模型。首先將原始輸入矢量轉化爲特徵矢量，再用手寫程序定義特徵，而後學習如何對每一個特徵加權獲得一個標量，若是標量值高於某一閾值，則認爲輸入矢量是目標類的一個積極樣例。標準的感知機結構是前饋模型，即輸入傳送到節點，處理後產生輸出結果：從底部輸入，頂部輸出，以下圖所示。但也有其侷限性：一旦肯定了手寫編碼特徵，在學習上就受到了較大限制。這對感知器來講是毀滅性的，儘管轉換相似於翻譯，可是模式識別的重點是識別模式。若是這些轉換造成了一個組，學習的感知器部分不能學會識別，因此須要使用多個特徵單元識別子模式的轉換。

 

沒有隱藏單元的網絡在輸入輸出映射建模上也有很大侷限性。增長線性單元層也解決不了，由於線性疊加依然是線性的，固定的非線性輸出也不能創建這種映射。所以須要創建多層自適應的非線性隱藏單元。

2、卷積神經網絡（Convolutional Neural Network）

  一直以來，機器學習研究普遍集中在對象檢測上，但仍有諸多因素使其難以

識別對象：1.對象分割、遮擋問題；2.照明影響像素強度；3.物體以各類不一樣的形式展示；4.相同功能的對象具備不一樣的物理形狀；5.視覺不一樣帶來的變化；6.維度跳躍問題。

 

        複製特徵方法是當前CNN用於目標檢測的主要方法，大規模的複製不一樣位置上相同的特徵檢測圖，大大減小了要學習的自由參數數量。它使用不一樣的特徵類型，每種類型都有本身的複製檢測圖，也容許以各類方式表示每一個圖像塊。

 

  CNN可用於手寫數字識別到3D對象識別等，但從彩色圖像中識別對象比手寫數字識別要複雜，它的類別、像素是數字的100倍（1000 vs 100，256*256彩色vs28*28灰度）。

2012年的ILSVRC-2012競賽中的ImageNet提供一個包含120萬張高分辨率訓練圖像的數據集。測試圖像沒有標註，參賽者須要識別圖像中對象的類型。獲勝者 Alex Krizhevsky開發了一個深度卷積神經網絡，除了一些最大池化層，架構還有7個隱藏層，前面都是卷積層，最後2層是全局鏈接。激活函數在每一個隱藏層都是線性單元，比邏輯單元速度更快，還使用競爭性規範標準抑制隱藏活動，有助於強度變化。硬件上，在兩個Nvidia GTX 580 GPU（超過1000個快速內核）上使用一個高效卷積網絡實現，很是適合矩陣乘法，具備很高的內存帶寬。

3、循環神經網絡（ Recurrent Neural Network）

 

循環神經網絡（RNN）有兩個強大的屬性能夠計算任何計算機計算出來的東西：（1）容許存儲大量有效信息的分佈式隱藏狀態（2）用複雜的方式容許更新隱藏狀態的非線性動態。RNN強大的計算能力和梯度消失（或爆炸）使其很難訓練。經過多層反向傳播時，若權重很小，則梯度呈指數縮小；若權重很大，則梯度呈指數增加。典型的前饋神經網絡的一些隱藏層能夠應對指數效應，另外一方面，在長序列RNN中，梯度容易消失（或爆照），即便有好的初始權重，也很難檢測出當前依賴於多個時間輸入的目標輸出所以很難處理遠程依賴性。

學習RNN的方法以下：

1.長短時間記憶：用具備長期記憶值的小模塊製做RNN。

2.Hessian Free Optimization：使用優化器處理梯度消失問題。

3.回聲狀態網絡：初始化輸入→隱藏和隱藏→隱藏和輸出→隱藏連接，使隱藏狀態有一個巨大的弱耦合振盪器儲備，能夠選擇性的由輸入驅動。

4.用動量初始化：和回聲狀態網絡同樣，再用動量學習全部鏈接。

四、長短時間記憶網絡（Long/Short Term Memory Network）

Hochreiter & Schmidhuber（1997年）構建了長短時間記憶網絡，解決了獲取RNN長時間記憶問題，使用乘法邏輯線性單元設計存儲單元，只要保持「寫入」門打開，信息就會寫入並保持在單元中，也能夠打開「讀取」門從中獲取數據。

RNN能夠閱讀行書，筆尖的輸入座標爲（x,y,p），p表明筆是向上仍是向下，輸出則爲一個字符序列，使用一系列小圖像做爲輸入而不是筆座標。Graves & Schmidhuber（2009年）稱帶有LSTM的RNN是閱讀行書的最佳系統。

 

五、霍普菲爾德網絡（Hopfield Networks）

  非線性循環網絡有不少種表現方式，較難分析：能達到穩定、震盪或餛飩狀態這三種表現形式。Hopfield網絡是由有循環鏈接的二進制閾值單元組成。1982年，約翰·霍普菲爾德發現，若是鏈接對稱，則存在一個全局能量函數，整個網絡的每一個二進制「結構」都有能量，而二進制閾值決策規則使網絡爲能量函數設置一個最小值。使用這種計算類型最簡單的方法是將記憶做爲神經網絡的能量最小值。使用能量最小值表示記憶給出了一個內容可尋內存，可經過了解局部內容來訪問整個項目。

 每記憶一次配置，都但願能產生一個能量最小值。但如有兩個最小值就會限制Hopfield網絡容量。伊麗莎白·加德納發現有一個更好的存儲規則，它使用了全部的權重。而不是試圖一次存儲多個矢量，她經過訓練集進行屢次循環，並用感知器收斂程序訓練每一個單元，使該矢量的全部其它單元具備正確的狀態。

6、玻爾茲曼機（Boltzmann Machine Network）

 玻爾茲曼機是一種隨機循環神經網絡，能夠被看做是Hopfield網絡的隨機生成產物，是最早學習內部representations的神經網絡之一。該算法旨在最大限度地提升機器在訓練集中分配給二進制矢量的機率的乘積，至關於最大化其分配給訓練矢量的對數機率之和，方法以下：（1）網絡沒有外部輸入時，使網絡在不一樣時間分佈穩定；（2）每次對可見矢量採樣。

2012年，Salakhutdinov和Hinton爲玻爾茲曼機寫了有效的小批量學習程序。2014年將模型更新，稱之爲受限玻爾茲曼機，詳情請查看原文。

7、深度信念網絡（Deep Belief Network）

        反向傳播，是人工神經網絡計算處理一批數據後每一個神經元的偏差分佈的標準方法，可是也存在一些問題。首先要標註訓練數據，但幾乎全部數據都沒有標註；其次，學習時間不足，這意味着隱藏層數較多的網絡較慢；第三，可能會使局部陷入最不利局面。所以，對於深度網絡來講這遠遠不夠。

        無監督學習方法克服了反向傳播的限制，使用梯度方法調整權重有助於保持架構的效率和簡單性，還能夠將它用於對感官輸入結構建模。特別的是，它調整權重，將產生感官輸入的生成模型機率最大化。信念網絡是由隨機變量組成的有向非循環圖，可推斷未觀測變量的狀態，還能夠調整變量間的交互，使網絡更可能產生訓練數據。

        早期圖形模型是專家定義圖像結構和條件機率，這些圖形是稀疏鏈接的，他們專一於作正確的推論，而不是學習。但對於神經網絡來講，學習是重點，其目的不在於可解釋性或稀疏鏈接性使推斷變得更容易。

8、深度自動編碼器（Deep Auto-encoders）

        該架構提供了兩種映射方式，好像是一個作非線性降維很是好的方法，它在訓練事例的數量上是線性的（或更好的），而最終編碼模型至關緊湊和快速。然而，使用反向傳播優化深度自動編碼器很困難，若初始權重較小，反向傳播梯度會消失。咱們使用無監督逐層預訓練或像回聲狀態網絡同樣認真的初始化權重。

        對於預訓練任務有三種不一樣類型的淺自動編碼器：（1）RBM做爲自動編碼器；（2）去噪自動編碼器；（3）壓縮自動編碼器。對於沒有大量標註的數據集，預訓練有助於後續的判別式學習。即使是深度神經網絡，對於大量的標註數據集，無監督訓練對權重初始化並非必要的，預訓練是初始化深度網絡權重的第一個好方法，如今也有其它方法。但若是擴大網絡，須要再次作預訓練。

總結

傳統的編程方法是咱們告訴計算機作什麼，將大問題分解成不少小而精確的且計算機能夠輕鬆執行的任務。神經網絡則不須要告訴計算機如何解決問題，而是從觀測到的數據中學習，找到解決問題的辦法。

閱讀原文http://click.aliyun.com/m/40094/