Dropout學習率怎麼調？

問題引入

大多人在調參的時候可能不少是時候就是改改參數，Dropout做爲機器學習中很重要的一個模塊，其在使用的過程當中的學習率是如何調節的呢？

問題解答

    Dropout能夠比較有效的緩解過擬合的發生，具備集成學習的效果，在必定程度上達到正則化的效果。Dropout說的簡單一點就是：咱們在前向傳播的時候，讓某個神經元的激活值以必定的機率p中止工做，這樣可使模型泛化性更強，由於它不會太依賴某些局部的特徵。Dropout是如何調節最好呢？

1. 通過交叉驗證，隱含節點 dropout 率等於 0.5 的時候效果最好，緣由是 0.5 的時候 dropout 隨機生成的網絡結構最多。
2. dropout 也能夠被用做一種添加噪聲的方法，直接對 input 進行操做。輸入層設爲更接近 1 的數。使得輸入變化不會太大（0.8）
3. 對參數  的訓練進行球形限制 (max-normalization)，對 dropout 的訓練很是有用。
4. 球形半徑  是一個須要調整的參數，可使用驗證集進行參數調優。
5. dropout 本身雖然也很牛，可是 dropout、max-normalization、large decaying learning rates and high momentum 組合起來效果更好，好比 max-norm regularization 就能夠防止大的learning rate 致使的參數 blow up。
6. 使用 pretraining 方法也能夠幫助 dropout 訓練參數，在使用 dropout 時，要將全部參數都乘以 。

參考

[1]https://www.jianshu.com/p/5de89ffb3a54

喜歡就關注一下啦~~~