理解熵，交叉熵和交叉熵損失

交叉熵損失是深度學習中應用最廣泛的損失函數之一，這個強大的損失函數是建立在交叉熵概念上的。當我開始使用這個損失函數時，我很難理解它背後的直覺。在google了不同材料後，我能夠得到一個令人滿意的理解，我想在這篇文章中分享它。 爲了全面理解，我們需要按照以下順序理解概念:自信息, 熵，交叉熵和交叉熵損失 自信息 "你對結果感到驚訝的程度" 一個低概率的結果與一個高概率的結果相比，低概率的結果帶來的信

>>阅读原文<<