softmax的特徵分佈會呈放射狀的原因

        爲直觀瞭解softmax loss，在mnist數據集上訓練了一個lenet模型作爲例子。先將特徵維降低到2，並畫了10w個訓練樣本的2維特徵在平面上，如圖2所示。從圖中可以看到，如果使用歐式距離作爲度量方式，則f2與f1之間的距離比f2到f3的近很多，達不到好的效果。而同時可以看到，對於這些特徵以角度進行劃分的效果會比歐式距離和內積要好，所以之前很多都會採用餘弦相似度作爲度量方法

>>阅读原文<<