多類別SVM損失和交叉熵損失比較

多類別SVM損失和交叉熵損失是機器學習中兩種常用的損失函數，爲了加深自己對它們的理解也便於以後回顧，下面以表格的形式從它們的主要思想、對應的分類器、損失計算公式以及對權重矩陣的梯度計算公式四個方面進行對比。 比較項目 多類別SVM損失(又稱hinge loss) 交叉熵損失(cross-entropy loss) 主要思想 正確的類別結果獲得的得分比不正確的類別至少要高一個閾值 Δ Δ 從信息論角

>>阅读原文<<