【代價函數】Cross_entropy：交叉熵損失函數（Cross_entropy loss）

1.Cross_entropy公式及導數推導 損失函數： a=σ(z), where z=wx+b 利用SGD等算法優化損失函數，通過梯度下降法改變參數從而最小化損失函數： 對兩個參數權重和偏置進行求偏導： 推導過程如下(關於偏置的推導是一樣的)： Note：這個推導中利用了sigmoid激活函數求導，才化簡成最後的結果的。sigmoid求導詳解 2.分析交叉熵Loss的特點 導數中沒有σ′(z)

>>阅读原文<<