4

1、根據鏈式法則，前饋神經網絡在進行反向傳播時，權值w的梯度爲全局傳過來的梯度乘以激活函數sigmoid對w的梯度： 對於第一層隱藏層的神經元來說,假設x都爲正的,因爲sigmoid 函數值域在（0， 1），則爲正，則權重矩陣w的梯度只與有關，即權重矩陣w中所有元素的梯度只與有關，即矩陣w中的所有元素的梯度的正負是相同的，假設w的緯度爲2，即[w1, w2], 則在每次的反向傳播中，w1和w2的梯

>>阅读原文<<