如何理解熵、交叉熵、KL散度、JS散度

在機器學習、深度學習中，經常聽見熵（entropy）、交叉熵（cross-entropy）、KL散度（ Kullback–Leibler divergence ）、JS散度（ Jensen-Shannon divergence ）這些概念。初次聽見這些概念肯定一頭霧水，在很多地方都能見到對這些概念 high-level 的解釋，但 high-level 的解釋並不能對這些概念更深入的理解。比如熵是

>>阅读原文<<