初始PyTorch(三):感知機&MLP反向傳播

1.單層感知機blog σ只有一個,其中。im 求導過程:d3 2.多層感知機總結 ,其中db 求導過程:img 3.MLP反向傳播co E對Wjk過程如第2點,略:d3 E對Wij過程:ps ,ab 總結: 即,Wij與當前節點i的值和j到輸出層的信息有關,以上式子內部都是已知的,而後經過反向傳播求出E對全部層W的偏導數,進而求得各W的梯度,來更新W,不停的更新W。
相關文章
相關標籤/搜索