Dropout與DropConnect比較

Dropout(Hintonet al., 2012)和DropConnect(Wan et al., 2013)都是爲防止訓練過擬合而提出。但我們平時使用的是Dropout（後面會解釋原因）。 Dropout：訓練過程中以概率1-p將隱層節點輸出值清0，而進行BP更新權值時，不更新與該節點相連的權值 r = m. * a(Wv) v是nx1維的列向量，W是dxn維的矩陣，m是個dx1的0,1列向

>>阅读原文<<