梯度消失

梯度消失是傳統神經網絡訓練中非常致命的一個問題，其本質是由於鏈式法則的乘法特性導致的。比如之前神經網絡中最流行的激活函數之一Sigmoid，其表達式如下：                                                    把這個函數的導數畫出來，如圖：                                                        

>>阅读原文<<