深度學習(十八)——交叉熵

交叉熵（Cross Entropy Loss）也是一種loss 香農定理： 用概率決定信息量，公式的意義：比如：買彩票，中100萬獎概率小，一旦你中獎了，這個信息量就很大了；但你花10塊錢買了一袋零食，本來概率就是100%，這個信息量就很小，由概率決定信息量，兩者呈反比。 所以，如果4分類，每個分類出來的概率都是25%，不確定性很高，即求出的E（熵）就很大，可以用作loss。 KL代表散度

>>阅读原文<<