損失函數：Hinge Loss（max margin）

損失函數：Hinge Loss（max margin）

Hinge Loss簡介

Hinge Loss是一種目標函數（或者說損失函數）的名稱，有的時候又叫作max-margin objective。其最著名的應用是做爲SVM的目標函數。

其二分類狀況下，公式以下： 

l(y)=max(0,1−t⋅y)

其中，y是預測值（-1到1之間），t爲目標值（±1）。

 

其含義爲，y的值在-1到1之間就能夠了，並不鼓勵|y|>1，即並不鼓勵分類器過分自信，讓某個能夠正確分類的樣本距離分割線的距離超過1並不會有任何獎勵。從而使得分類器能夠更專一總體的分類偏差。

變種

實際應用中，一方面不少時候咱們的y的值域並非[-1,1]，好比咱們可能更但願y更接近於一個機率，即其值域最好是[0,1]。另外一方面，不少時候咱們但願訓練的是兩個樣本之間的類似關係，而非樣本的總體分類，因此不少時候咱們會用下面的公式： 

l(y,y′)=max(0,m−y+y′)

其中，y是正樣本的得分，y’是負樣本的得分，m是margin（本身選一個數）

 

即咱們但願正樣本分數越高越好，負樣本分數越低越好，但兩者得分之差最多到m就足夠了，差距增大並不會有任何獎勵。

好比，咱們想訓練詞向量，咱們但願常常同時出現的詞，他們的向量內積越大越好；不常常同時出現的詞，他們的向量內積越小越好。則咱們的hinge loss function能夠是： 

l(w,w+,w−)=max(0,1−wT⋅w++wT⋅w−)

其中，w是當前正在處理的詞，w+是w在文中前3個詞和後3個詞中的某一個詞，w−是隨機選的一個詞。