交叉熵誤差（cross entropy error)

熵真是一個神奇的東西，據說之所以把它命名爲熵就是因爲它難以理解 但是它確實是一個很有用的西東，光機器學習裏面，就經常見到它的身影，決策樹要用到它，神經網絡和logistic迴歸也用到了它。 先說熵的定義： 熵定義爲信息的期望，某個待分類事物可以劃分爲多個類別，其中類別的信息爲(爲的概率)： 熵爲所有類別的信息期望值： 交叉熵誤差： 爲實際的分類結果， 爲預測的結果，（ 並且   ）   這個函數被

>>阅读原文<<