理解熵，交叉熵和交叉熵損失

自信息 "你對結果感到驚訝的程度" 一個低概率的結果與一個高概率的結果相比，低概率的結果帶來的信息量更大。現在，如果yi是第i個結果的概率，那麼我們可以把自信息s表示爲: 熵 現在我知道一個事件產生某個結果的自信息，我想知道這個事件平均帶來多少自信息。對自信息s進行加權平均是很直觀的。現在的問題是選擇什麼權重?因爲我知道每個結果的概率，所以用概率作爲權重是有意義的，因爲這是每個結果應該發生的概率。

>>阅读原文<<