交叉熵

  一.什麼是交叉熵 交叉熵是一個信息論中的概念，它原來是用來估算平均編碼長度的。給定兩個概率分佈p和q，通過q來表示p的交叉熵爲：      注意，交叉熵刻畫的是兩個概率分佈之間的距離，或可以說它刻畫的是通過概率分佈q來表達概率分佈p的困難程度，p代表正確答案，q代表的是預測值，交叉熵越小，兩個概率的分佈約接近。      那麼，在神經網絡中怎樣把前向傳播得到的結果也變成概率分佈呢？Softma

>>阅读原文<<