信息熵、熵、相對熵、交叉熵

轉載：http://www.javashuo.com/article/p-nnyatwlq-eu.html 關於交叉熵在loss函數中使用的理解 交叉熵（cross entropy）是深度學習中常用的一個概念，一般用來求目標與預測值之間的差距。以前做一些分類問題的時候，沒有過多的注意，直接調用現成的庫，用起來也比較方便。最近開始研究起對抗生成網絡（GANs），用到了交叉熵，發現自己對交叉熵的理解有

>>阅读原文<<