交叉熵損失函數

1. Cross entropy

交叉熵損失函數用於二分類損失函數的計算,其公式爲：

其中y爲真值,y'爲估計值.當真值y爲1時,

函數圖形:

可見此時y'越接近1損失函數的值越小,越接近0損失函數的值越大.

當真值y爲0時,

函數圖形:

可見此時y'越接近0損失函數的值越小,越接近1損失函數的值越大.

2. Binary_crossentropy

Binary_crossentropy爲二分類的交叉熵損失函數,若是網絡最後一層是二分類的輸出,好比激活函數是Sigmoid,就採用Binary_crossentropy.

3. Categorical_crossentropy

Categorical_crossentropy爲多分類的交叉熵損失函數,若是網絡最後一層是多分類的輸出,好比激活函數是Softmax,就採用Categorical_crossentropy.