學習筆記8：常用損失函數之交叉熵（Cross Entropy）

1.信息量 假設X是一個離散型隨機變量，其取值集合爲 X X ，概率分佈函數爲 p(x)=Pr(X=x),x∈X p ( x ) = P r ( X = x ) , x ∈ X ，我們定義事件 X=x0 X = x 0 的信息量爲： I(x0)=−log(p(x0)) I ( x 0 ) = − l o g ( p ( x 0 ) ) 可以理解爲，一個事件發生的概率越大，則它所攜帶的信息量就越小，

>>阅读原文<<