深度學習基礎（常見的網絡2）

LeNet：基於漸變的學習應用於文檔識別

AlexNet：具備深卷積神經網絡的ImageNet分類

ZFNet：可視化和理解卷積網絡

VGGNet：用於大規模圖像識別的很是深的卷積網絡

NiN：網絡中的網絡

GoogLeNet：捲入更深刻

Inception-v3：從新思考計算機視覺的初始架構

ResNet：圖像識別的深度殘差學習

Stochastic_Depth：具備隨機深度的深層網絡

WResNet：很是深的網絡的加權殘差

Inception-ResNet：Inception-v4，inception-resnet以及剩餘鏈接對學習的影響

Fractalnet：沒有殘差的超深層神經網絡

WRN：寬殘留網絡

ResNeXt：深層神經網絡的聚合殘差變換

DenseNet：密集鏈接的卷積網絡

PyramidNet：深金字塔殘留網絡

DPN：雙路徑網絡

SqueezeNet：AlexNet級準確度，參數減小50倍，模型尺寸小於0.5MB

MobileNets：用於移動視覺應用的高效卷積神經網絡

ShuffleNet：移動設備極高效的卷積神經網絡

又能夠這樣分類：

CNN：

總結：利用權值共享【卷積操做】將神經網絡原本的全鏈接層替換爲非全鏈接層，使輸入能夠爲尺度可變的張量。

可用結構：

（Max, mean）Pooling:降維;

全鏈接層：分類；

循環神經網絡（RNNs）--推薦文章

是一類人工神經網絡，單元之間的鏈接造成一個有向循環。這使得它能夠表現出動態的時間行爲。與前饋神經網絡不一樣 ，RNN可使用其內部存儲器來處理任意輸入序列。

 

 

這使得它們適用於諸如不分段，鏈接手寫識別或語音識別等任務。

遞歸神經網絡（RNNs）--推薦文章

是一種經過在一個結構上遞歸及應用相同一組權重來建立的深度神經網絡，經過遍歷給定拓撲順序的結構，對可變大小的輸入結構產生結構化的預測或標量預測。

 

 

在天然語言處理中，RNNs已經成功地用於學習序列和樹結構 ，主要是基於詞嵌入的短語和句子連續表示 。

 

長短時間記憶網絡（LSTMs）-- 推薦文章

 

長期短時間記憶 - 這是一種循環型神經網絡（RNN），容許數據在網絡中向前和向後流動。

 

 

LSTM適合於處理和預測時間序列中間隔和延遲很是長的重要事件，隱馬爾可夫模型和其餘序列學習方法給LSTM帶來了優點 。

 

GAN：

總結：利用兩個網絡對抗生成模型，生成器與辨別器，生成器輸入圖像，生成所需圖像，辨別器辨別所需圖像與生成圖像，使生成器的生成圖像騙過辨別器。

可用結構：

CNN；(Recursive)Residual Network(殘差(遞歸)網絡);FCN(全卷積網絡)；convolutional LSTM；

Autoencoder:

是一種人工神經網絡，用於高效編碼的無監督學習。

與GAN同樣，並非單純的網絡結構，只是相似PCA同樣的東西，在無監督學習中的框架，利用conv與deconv降維升維來進行學習，分別叫作encoder與decoder編碼解碼，通常基於卷積網絡，encoder後至關於學習到了特徵，而decoder後至關於還原了圖像，既能夠用輸入圖像進行訓練，訓練好一層加深一層。再能夠利用有監督微調，從而達到分類或者圖像轉換的目的。

可用結構：

CNN；Residual Network；

自動編碼器的目的是學習一組數據的表示（編碼），一般用於降維。 近來，自動編碼器概念已經愈來愈普遍地應用於數據生成模型的學習當中。

殘差網絡Resnet：

利用上一級的輸入與結果相加來使深層網絡效果更好（一個殘差塊通常不小於兩層）。

 

U-NET

也是encoder-decoder,利用前一encoder的信息與decoder信息結合，二者一一對應，共享信息。

 

[深度]強化學習 -- 推薦文章與 推薦文章

強化學習是智能系統從環境到行爲映射的學習，以使獎勵信號(強化信號)函數值最大，強化學習中由環境提供的強化信號是對產生動做的好壞做一種評價(一般爲標量信號)

它的原理是：若是Agent的某個行爲策略致使環境正的獎賞(強化信號)，那麼Agent之後產生這個行爲策略的趨勢便會增強。Agent的目標是在每一個離散狀態發現最優策略以使指望的折扣獎賞和最大。