神經網絡不同激活函數比較--讀《Understanding the difficulty of training deep feedforward neural networks》

轉載:https://ziyubiti.github.io/2016/11/01/actfunpaper/          這篇論文比較了不同激活函數的中間各隱層輸出值分佈、梯度值分佈、測試準確度等,從上圖看出,至少在mnist和cifar10測試集下,看起來tanh和softsign都要好於sigmoid。
相關文章
相關標籤/搜索