淺聊卷積神經網絡的發展

前言

卷積神經網絡的發展主要是爲了解決人類視覺問題，不過如今其它方向也都會使用。發展歷程主要從Lenet5->Alexnet->VGG->GooLenet->ResNet等。

Lenet5

上世界80年代發明了卷積層，但因爲硬件限制沒法構建複雜網絡，直到後面90年代纔開始有實踐。

1998年LeCun提出卷積層、池化層和徹底鏈接層組合，以此來解決手寫數字的識別問題。此時的效果已經很不錯了，能與其它經典的機器學習模型相比。架構以下，一個32 x 32的輸入，經過卷積提取特徵，而後進行下采樣，再一次卷積和下采樣，後面進行全鏈接和高斯鏈接。

 

Alexnet

後來隨着可用的結構化數據和處理能力呈指數增加，使得模型能進一步加強，特別是Imagenet開源數據集的出現，數百萬張被標記分類的圖像。

2012年的LSVRC挑戰賽，Hinton和他學生Alex Krizhevsky開發了Alexnet深度卷積網絡，結構相似Lenet5，可是卷積層深度更深，參數總數達數千萬。結構以下，多個卷積層且每一個網絡深度都達數百。

 

VGG

2014年LSVRC挑戰賽強大的競爭者，由牛津大學視覺幾何組織提出的VGG模型。比起Alexnet，它主要是將卷積核縮小了，所有改用3x3。以下圖爲VGG結構，大致結構一致，但卷積配置能夠不一樣。激活函數使用ReLU，池化使用max pooling，最後使用softmax輸出各項機率。

 

GoogLenet

2014年，該網絡模型贏得LSVRC挑戰賽，該系列賽首次由大型公司參賽並得到成功，此後也一直由擁有鉅額預算的大公司贏得比賽。

GoogLenet 主要由9個Inception模塊組合而成，其中只進行很小的改動。Inception模塊結構以下圖，

 

GoogLenet參數數量降到了一千多萬，而且準確性比Alexnet提升，偏差從16.4%降到6.7%。

 

2015年隨着《從新思考計算機視覺的Inception架構》文章發表，google研究人員發佈新的Inception架構，主要解決協方差移位問題，其中將規範化應用於原始輸入及每層的輸出值。除此以外卷積核大小也有所變化，且增長了網絡整體深度及卷積的分解。

 

ResNet

2015年ResNet被提出，由原來微軟研究院何愷明博士提出，現爲Facebook AI研究科學家。ResNet戰績輝煌，當年一下取得5項第一。ResNet網絡中的模塊以下圖，

 

該模塊的卷積部分第一個1 x 1的卷積把256維降到64維，接着進入3 x 3濾波器層，最後再經過1 x 1卷積恢復256維。組合的形式大體以下。