KL散度與交叉熵區別與聯繫

1. 熵 要想明白交叉熵(Cross Entropy)的意義，可以從熵(Entropy) -> KL散度(Kullback-Leibler Divergence) -> 交叉熵這個順序入手。 通用的說，熵(Entropy)被用於描述一個系統中的不確定性(the uncertainty of a system)。 放在信息論的語境裏面來說，就是一個事件所包含的信息量。 2. KL散度 KL散度，有時

>>阅读原文<<