BP神經網絡小結

1、邏輯迴歸      理解邏輯迴歸是理解BP神經網絡的關鍵，邏輯迴歸相當於是BP神經網絡的最後一層，也就是輸出層（BP神經網絡用於二分類問題）。下面給出邏輯迴歸的簡單推導過程： 公式中已經默認Z=WX+b，損失函數使用交叉熵損失函數 修正：W導數中的X應該增加轉置 上面推導假設一次訓練一個樣本，如果訓練多個樣本，最後公式略有不同。由於求導、鏈式法則的應用都是Element-Wise的，所以求導推

>>阅读原文<<