交叉熵誤差(cross entropy error)

熵真是一個神奇的東西,據說之所以把它命名爲熵就是因爲它難以理解 但是它確實是一個很有用的西東,光機器學習裏面,就經常見到它的身影,決策樹要用到它,神經網絡和logistic迴歸也用到了它。 先說熵的定義: 熵定義爲信息的期望,某個待分類事物可以劃分爲多個類別,其中類別的信息爲(爲的概率): 熵爲所有類別的信息期望值: 交叉熵誤差: 爲實際的分類結果, 爲預測的結果,( 並且   )   這個函數被
相關文章
相關標籤/搜索