神經網絡筆記 - 交叉熵(Cross-Entropy)

如上文所述, 如果我們使用均方誤差來考量學習誤差 C=12n∑x||y(x)−aL(x)||2 則有 ∂C∂w=(a−y)σ′(z)x ∂C∂b=(a−y)σ′(z) Sigmoid 函數的曲線大致如下圖: 當神經元的輸出接近 0 或者 1 的時候, 曲線是比較平的, 這也就意味着 σ′(z) 是一個很小的值, 這樣的話, 學習速度勢必下降. 爲了優化神經網絡學習, 我們引入了交叉熵(Cross-

>>阅读原文<<