模式識別課程筆記——梯度消失與激活函數

1、梯度消失的產生原因 使用sigmoid函數作爲激活函數時，靠近輸出層的梯度較大，更新較快；靠近輸入層的梯度較小，更新較慢。因此當靠近輸出層的梯度更新完成時，靠近輸入層的權重未得到充分更新，仍保持幾乎隨機的狀態。 靠近輸入層的函數梯度小的原因：   偏導約等於變化量的比值，當激活函數是sigmoid函數時，輸入變化量很大，所對應輸出的變化量卻很小。如此從最後的梯度向前依次傳遞，離輸出很遠的部分梯

>>阅读原文<<