梯度消失

參數通過梯度下降進行更新，梯度消失導致參數無法更新   1.梯度特別小導致無法更新參數 z = wx-2 y = σ(z)           σ是標準logistic函數 訓練樣本 (1,0.8)，所以y_target = 0.8 初始值w=-8 y = σ(-8*1 - 2) ≈ 0.00005，可見與目標值相差很大，需要進行訓練參數w 損失函數爲平方損失函數   w通過梯度下降法進行更新 學

>>阅读原文<<