機器學習——交叉熵和softmax

1.交叉熵 （1）用處：分類問題的損失函數 （2）取值：只可能爲非負 （3）要理解交叉熵，就要一步步理解：信息量->信息熵->相對熵->交叉熵 信息量 概率的對數的負數 想一想：一個概率越小的時間發生了則信息量越大 信息熵 信息量的均值（用所有概率加起來爲1的那一個集） PS:沒有加和，單個時的圖像 相對熵 對數裏的東西，變成原概率和預測概率的比值，並且括號外面沒有負數   想一想：即預測越接近真

>>阅读原文<<