三、pytorch之感知機和MLP梯度推導

1.單層感知機 σ只有一個，其中。 求導過程： 2.多層感知機 ，其中 求導過程： 3.MLP反向傳播 E對Wjk過程如第2點，略： E對Wij過程： ， 總結： 即，Wij與當前節點i的值和j到輸出層的信息有關，以上式子內部都是已知的，然後通過反向傳播求出E對所有層W的偏導數，進而求得各W的梯度，來更新W,不停的更新W。

>>阅读原文<<