DNN反向傳播計算過程

根據初始化參數，正向計算各個神經元輸出 1.使用relu作爲**函數，如果輸入值是小於等於，偏導將會是0，也就是不會更新梯度；如果輸入是大與0，梯度是1 以LR爲例，假設使用relu作爲**函數，繼續學習。 很明顯 如果權重初始化爲0 這個神經元將不會得到更新 （更新公式：w1=w1-a*w1梯度） 2.如果**函數是sigmoid，這樣即使初始化權重全部是0，但梯度不會全部是0(sigmoid梯

>>阅读原文<<