神經網絡相關論文總結

Name	Year	Chararcteristics	Paper link
LeNet-5	1998	開山之做，實現了參數共享，局部感知，平均池化降採樣	LeNet-5
AlexNet	2012	使用ReLU解決梯度彌散，使用dropout解決過擬合，多GPU訓練提高速度，提出了局部響應歸一化(LRN)進一步防止梯度爆炸(後來證實不如BN)，數據加強提高了泛化性能	AlexNet
ZFNet	2013	相似於AlexNet，卷積核的大小減少,作了不少細小的試驗，驗證深度學習的可行性，包括可視化中間特徵，對後來的研究頗有意義	ZFNet
OverFeat	2013	在特徵圖後面加入bbox迴歸網絡，相對於Alexnet，不使用LRN，更大的pooling stride	OverFeat
VGG	2015	證實網絡深度是頗有影響力的，可是太深會梯度爆炸(在resnet出現以後解決了深度問題)	VGG
NIN	2014	conv+relu是假設問題時線性可分的，可是實際問題每每是非線性可分，提出的多層感知機卷積層，是對conv+relu的改進，增長局部模型的表達能力;全局平均池化，避免過擬合;參數更少;提出了1x1卷積，後續的inception系列會用到	NIN
GoogleNet (inception V1)	2014	多種大小卷積並聯,在增長寬度的同時增長網絡對尺度的適應性	GoogleNet
inception V2	2015	加入了BN層,用兩個3x3代替5x5的卷積，減小參數量，加速計算	inception V2
inception V3	2016	提出只有等比例的增大深度和維度才能最大限度的提高網絡的性能，網絡的深度和寬度要平衡，V3的網絡更深更寬，相對V1增長了1.5倍參數，但精度極大提高	inception V3
inception-V4	2016	優化了stem模塊，inception模塊更寬了，總的層數也更深，效果更好	inception-V4
Inception-ResNet-V1	2016	在inception-V3的基礎上引入resnet思想，計算量和效果基本一致，訓練更快	Inception-ResNet-V1
Inception-ResNet-V2	2016	在inception-V4的基礎上引入resnet思想，計算量和效果基本一致，訓練更快	Inception-ResNet-V1
ResNet-V1	2015	做者推斷訓練殘差比訓練原始函數更容易，引入了shortcut或者叫瓶頸，解決了深度網絡的退化問題	ResNet-V1
ResNet-V2	2016	V1在200層左右就會出現過擬合，在V2中調整了relu層在殘差塊中的位置，實現了預激活，實現了深度達到1000的時候都不會出現過擬合	ResNet-V2
ReNeXt	2016	根據inception和resnet的結構，討論了不一樣狀況下的網絡結構對於網絡的影響，優化了resnet，使用更少的參數量，可以達到和resnet同樣的效果	ReNeXt
SENet	2017	考慮特徵通道之間的關係，提出了SE模塊，在short cut中引入了全局平均池化，能夠內嵌到其餘的網絡，得到不一樣種類的 SENet，提高效果	SENet
MobileNet V1	2017	體積小，計算量少，適用於移動設備的卷積神經網絡,用深度可分離卷積（Depthwise separable convolution）代替標準的卷積，並使用寬度因子(width multiply)減小參數量	MobileNet V1
MobileNet V2	2018	輕量化網絡，主要解決了MobileNet V1在訓練過程當中很是容易梯度彌散的問題,增長skip connection,刪除最後一層的ReLu6，Inverted residual block，先升維再卷積，避免破壞特徵	MobileNet V2
ShuffleNet V1	2017	使用Group convolution和Channel shuffle改進ResNet	ShuffleNet V1
ShuffleNet V2	2018	輸入通道數與輸出通道數保持相等,改變V1的結構，使得他更符合現有的一些效果好的規則，加入SE以後，網絡也會有很好的提高	ShuffleNet V2
SqueezeNet	2017	SqueezeNet以AlexNet大約1/50的參數實現了相似的性能	SqueezeNet
Xception	2016	網絡結構的新的嘗試，深度可分離卷積下降計算量	Xception

後續的語義分割的論文另開一篇詳細總結