BP算法簡單推導過程

在這裏想到你已經瞭解了神經網絡的基本過程，就輸入層，隱含層，輸出層基本思路，然後按下圖最簡單的推導過程，以一個輸出OP來簡單介紹。 1.前向傳播 w是權重，b是偏置項 輸入到隱含 同理 隱含到輸出 這裏採用sigmoid激活函數（非線性） 有個特性是他的導數爲： 輸出層 計算誤差,採取平方差 反向傳播，利用梯度下降算法最小化損失函數的過程，主要採取鏈式求導,這裏以爲舉例 下次更新Wh1這個參數的時

>>阅读原文<<