誤差反向傳播算法（BP）

優化算法基本上都是在反向傳播算出梯度之後進行改進的，因爲反向傳播算法是一個遞歸形式，通過一層層的向後求出傳播誤差即可。 計算Loss函數的目的：**計算出當前神經網絡建模出來的輸出數據與理想數據之間的距離，根據反向傳播算法可以不斷更新網絡中的參數使loss函數不斷下降，使輸出數據更加理想。 那麼如何根據一個網絡的loss來更新參數，即如何更新網絡節點中的權重w和偏差b的值？ 神經網絡中的參數說明：

>>阅读原文<<