交叉熵，相對熵，爲什麼損失函數用交叉熵

前言 在處理分類問題的神經網絡模型中，很多都使用交叉熵 (cross entropy) 做損失函數。 這篇文章詳細地介紹了交叉熵的由來、爲什麼使用交叉熵，以及它解決了什麼問題，最後介紹了交叉熵損失函數的應用場景。 要講交叉熵就要從最基本的信息熵說起 1.信息熵 信息熵是消除不確定性所需信息量的度量。（多看幾遍這句話） 信息熵就是信息的不確定程度，信息熵越小，信息越確定。 (因爲事件都有個概率分佈，

>>阅读原文<<