【深度學習】batch normalization

參考:http://www.javashuo.com/article/p-zpuaoinw-dx.html 引入原因:深度網絡訓練過程中,每一層的參數都會不斷變化,很可能導致每一層的輸出(即對下一層的輸入)的分佈發生變化,因此導致模型收斂變慢,(本質原因:輸出逐漸向左右兩端移動,導致曲線平緩,比如sigmoid,從而梯度消失問題產生,因此收斂越來越慢)。 解決方法:BatchNorm就是在深度神經
相關文章
相關標籤/搜索