關於卷積神經網絡體系設計的理論實現

　　卷積神經網絡，簡稱CNN，經常使用於視覺圖像分析的深度學習的人工神經網絡。形象地來講，這些網絡結構就是由生物的神經元抽象擬合而成的。正如，每一個生物神經元能夠相互通訊通常，CNN根據輸入產生相似的通訊輸出。

　　若要論CNN的起源，那大概就是1980年代初了，隨着最近技術的迅猛進步和計算能力的不斷強大，CNN就此流行起來。簡而言之，CNN技術容許在合理的時間內，利用其自身性和擴展性的算法對大量數據和複雜訓練進行卷積維度的「神經」運算。目前，CNN主要應用於：基於人工智能的虛擬助手、自動照片標記、視頻標記和自動駕駛汽車等方面。

1、卷積神經網絡與常規神經網絡的區別

• CNN能處理分辨率更高的圖像，解決常規神經網絡不能解決的巨大計算開銷問題；舉個例子：若是考慮一個大小爲224224個和3個通道的圖像，它對應於224x224x3=150528的輸入特性。一個典型的具備1000個節點的隱層神經網絡在第一層自己就有150528×1000個參數。這對於常規神經網絡來講，根本就難以估量；
• 具備檢測不變性(Translation invariance)的特性，無論在識別過程當中的哪一個微時間階段，或者圖像識別的局部區域大小，都具備客觀識物不變性質。

 

 

2、CNN的工做機制和原理

　　卷積層都是基於卷積的數學運算。卷積層由一組濾波器組成，就像一個二維數字矩陣。而後，濾波器與輸入圖像合併以產生輸出。在每一個卷積層中，咱們採用一個濾波器並將濾波器滑動到圖像上以執行卷積操做。卷積運算的主要任務是對圖像的濾波值和像素進行矩陣乘法，並將獲得的值相加獲得輸出。

　　

　　 CNN能夠幫助咱們尋找特定的局部化圖像特徵，例如：藉助圖像中的邊緣，咱們能夠在網絡初始層中，使用這些特徵來尋求一個簡單的模式。這一過程暫且稱之爲局部建模。再利用局部模型中的，劃分圖像的水平和垂直邊緣。固然，也能夠藉助更深的層次結構，進行二度複雜的模式構建。

　　一個典型的案例，就是垂直邊緣檢測的示例：

　　　　

 

3、卷積神經網絡體系結構

　　  首先，卷積神經網絡由許許多多的卷積層進行組建，卷積層是CNN相對基礎的部分。它主要負責承載CNN計算的負荷。  這個基礎層有助於減小神經定義的空間，這由於符合這一特性，咱們這裏姑且將這基礎層喻爲單元池。這使得咱們在進行相似CNN操做時，大大減小了所需的計算量和權重。目前，最所主流的檢測過程也能夠說是最大的池，它能檢測出就近原理的最大輸出。這些單元池提供了咱們前面說起的檢測不變性，這也偏偏意味着，一個對象將是可識別的，不管它出如今框架上的任何位置。 

　　 咱們這裏，能夠將部分單元池按照必定的線性規則進行連接而造成新的結構體，稱爲全鏈接層(FC)。這一層的神經元與前一層或者後續一層的全部神經元，都有徹底的連通性，就像常規的神經網絡中所看到的那樣。這就是爲何它能夠像常規神經網絡同樣，經過矩陣乘法和偏置效應來計算。FC層還能表示輸入和輸出之間的映射關係。 而對於非線性的網絡層來講，因爲卷積是一種線性運算，並且圖像遠離線性，所以常將非線性層直接置於卷積層以後，將非線性引入後直接激活映射。

　　非線性運算有幾種，流行的有：

• Sigmoid：這種非線性結構具備數學層面上的表示形式。例如：F(X)=1/1+exp(-x)..它取一個實數並將其壓縮到0到1之間。可是，它存在一個致命的問題——就是梯度消失問題，這是一種局部梯度變小而反向傳播致使梯度消失的現象。
• Tanh: 能夠將實數壓縮到範圍內[-1，1]。和Sigmoid同樣，觸發時是飽和的，但不一樣的是它的輸出是以零爲中心的.
• ReLU:修正線性單元(Relu)，同時計算函數ƒ(κ)=max(0，κ)。換句話說，觸發時只是在零處的閾值。與Sigmoid和tanh相比，relu更可靠，收斂速度也提升了6倍不止。

 

4、 卷積神經網絡的設計

　　在充分了解了CNN的組成要素和工做機制以後，咱們就能夠創建一個卷積神經網絡了。例如：咱們可使用CIFAR 10，這是一個由50，000個示例和10，000個示例組成的訓練集的數據集。每一個示例是一個32×32彩色圖像，均來自10個相互關聯的標籤類中。

　　在數據訓練與模型的擬合過程當中，咱們採用了數據加強的方法。在所構建的網絡中，使用了分批層次，經過採起具備強制性質的高斯單位分佈，避免了權重矩陣初始化不當的問題。用於實現的CNN模型的體系結構：