深度學習理論——信息量，信息熵，交叉熵，相對熵及其在機器學習中的應用

你們好，繼續理論學習，在我當年的一篇講softmax和LR迴歸的博客裏機器學習 就是這篇博客！學習 還有這篇！測試 在裏面只是簡單地講了交叉熵的公式，可是爲何深度學習當時要取最小的交叉熵來優化參數，其實我沒太明白，今天搞明白了，來記錄一下。優化 1.信息量.net 信息量的大小能夠衡量事件的不肯定性或發生的驚訝程度。一個事件發生的機率越小則其所含的信息量越大。設事件發生的機率爲P(x)，則其信息量

>>阅读原文<<