ILSVRC比賽帶來的算法

李飛飛和它的團隊蒐集了ImageNet一個超過15 million的圖像數據集，大約有22,000類。這個文件集合對深度卷積網絡極大地推動深度學習各領域的發展.

ILSVRC是對ImageNet進行分類,檢測,定位的比賽,做爲最具影響力的競賽它的做用功不可沒，從中也促使了許多經典工做。

ImageNet的定位結果

年	網絡/隊名	val top-5	test top-5	備註
2012	AlexNet		34.19%	多倫多大學Hinton和他學生
2012	AlexNet		33.55%	用了2011年的數據
2013	OverFeat	30.0%	29.87%	紐約大學Lecun團隊
2014	GoogleNet		26.44%	谷歌
2014	VGG	26.9%	25.32%	牛津大學
2015	ResNet	8.9%	9.02%	微軟
2016	Trimps-Soushen		7.71%	公安三所，以Inception, resNet, WRN等爲基礎
2017	DPN		6.23%	新加坡國立大學與奇虎360

ImageNet的檢測結果

年	網絡/隊名	mAP(%)	備註
2013	OverFeat	19.40	使用了12年的分類數據預訓練
2013	UvA	22.58
2013	OverFeat	24.3	賽後。使用了12年的分類數據預訓練
2014	GoogleNet	43.93	R-CNN
2015	ResNet	62.07	Faster R-CNN
2016	CUImage	66.28	商湯和港中文，以GBD-Net等爲基礎
2017	BDAT	73.41	南京信息工程大學和帝國理工學院

ImageNet的分類結果

年	網絡/隊名	val top-1	val top-5	test top-5	備註
2012	AlexNet	38.1%	16.4%	16.42%	5 CNNs
2012	AlexNet	36.7%	15.4%	15.32%	7CNNs。用了2011年的數據
2013	OverFeat			14.18%	7 fast models
2013	OverFeat			13.6%	賽後。7 big models
2013	ZFNet			13.51%	ZFNet論文上的結果是14.8
2013	Clarifai			11.74%
2013	Clarifai			11.20%	用了2011年的數據
2014	VGG			7.32%	7 nets, dense eval
2014	VGG（亞軍）	23.7%	6.8%	6.8%	賽後。2 nets
2014	GoogleNet v1			6.67%	7 nets, 144 crops
	GoogleNet v2	20.1%	4.9%	4.82%	賽後。6 nets, 144 crops
	GoogleNet v3	17.2%	3.58%		賽後。4 nets, 144 crops
	GoogleNet v4	16.5%	3.1%	3.08%	賽後。v4+Inception-Res-v2
2015	ResNet			3.57%	6 models
2016	Trimps-Soushen			2.99%	公安三所
2016	ResNeXt（亞軍）			3.03%	加州大學聖地亞哥分校
2017	SENet			2.25%	Momenta 與牛津大學

首先誕生的是,1986年:

LeNet

 

 

到了2012年:

AlexNet

 

AlexNet結構優化 非線性激活函數：

ReLU 防止過擬合的方法：Dropout，Data augmentation（數據加強）

大數據訓練：百萬級ImageNet圖像數據

GPU實現：在每一個GPU中放置一半核（或神經元），還有一個額外的技巧： GPU間的通信只在某些層進行。

LRN歸一化：本質上，這個層也是爲了防止激活函數的飽和的。

再到後來該進了alex後出來了ZFNet:

ZFNet

GoogleNet

 GoogleNet中的特殊結構Interception:

Inception架構的主要思想是找出如何讓已有的稠密組件接近與覆蓋卷積視覺網絡中的最佳局 部稀疏結構。

爲了不patch校準問題，如今的濾波器大小限制在1x1，3x3和5x5，主要是爲了方便，不是 必要的。

另外，在pooling層添加一個額外的並行pooling路徑用於提升效率。

架構的第二個主要思想：在計算要求增長不少的地方應用維度縮減 和預測。即，在3x3和5x5的卷積前用一個1x1的卷積用於減小計算， 還用於修正線性激活。以下圖所示，左邊是加入維度縮減以前的， 右邊是加入維度縮減以後的。

VGG

 

ResNet

ILSVRC2015冠軍，比VGG深8倍，超深網絡， 最高能夠達到152層；引入殘差結構，更改 參數w的修改規則；top-5錯誤率3.6%；參 數更新中使用到RNN的思想。

ResNet中特殊的結構：

鏈接方式叫作「shortcut connection」 ，顧名思義， shortcut就是「抄近道」的意思。