softmax與cross-entropy loss

1. softmax用於計算概率分佈     例如，記輸入樣例屬於各個類別的證據爲： 採用softmax函數可以將證據轉化爲概率： 2. cross-entropy loss用於度量兩個概率分佈之間的相似性 參考：知乎講解     熵的本質是香農信息量(log(1/p))的期望。     現有關於樣本集的2個概率分佈p和q，其中p爲真實分佈，q非真實分佈。按照真實分佈p來衡量識別一個樣本的所需要的

>>阅读原文<<