神經網絡訓練加速、增加稀疏性操作（Dropout、GN、BN、LRN）

增加稀疏性（降低過擬合風險）----Dropout、LRN Dropout         Dropout是怎麼做到防止過擬合的呢？首先，想象我們現在只訓練一個特定的網絡，當迭代次數增多的時候，可能出現網絡對訓練集擬合的很好，但是對驗證集的擬合程度很差的情況。所以，我們有了這樣的想法：可不可以讓每迭代隨機的去更新網絡參數，引入這樣的隨機性就可以增加網絡generalize 的能力。所以就有了dro

>>阅读原文<<