一文讀懂交叉熵的基本概念

在模型構建完畢後，下面的工做就是定義損失函數。損失函數的功能在於，衡量實際輸出值和預期輸出值之間的差別程度，井藉此調節網絡的參數。 對於多分類問題，最經常使用的損失函數就是交叉熵函數( Cros-enrorp）那什麼是交叉熵呢?說到交叉熵，就不得不提一下「熵」的概念。熵的概念源自熱力學。它是系統混亂度的度量，越有序，熵越小。反之，越雜亂無序，熵就越大。 在信息領域，信息論的開創者香農(Claude

>>阅读原文<<