KL散度與交叉熵區別與聯繫

通用的說，熵(Entropy)被用於描述一個系統中的不肯定性(the uncertainty of a system)。在不一樣領域熵有不一樣的解釋，好比熱力學的定義和信息論也不大相同。html 要想明白交叉熵(Cross Entropy)的意義，能夠從熵(Entropy) -> KL散度(Kullback-Leibler Divergence) -> 交叉熵這個順序入手。 固然，也有多種解釋方法

>>阅读原文<<