信息熵、交叉熵、相對熵原理與softmax函數的應用

信息熵在人工智能領域有着舉足輕重的作用，尤其在分類的算法中，可利用其特性設計損失函數推導出最優數學模型；softmax函數是一種處理數據手段，一般會出現在模型最後階段，比如各種神經網絡的最後一層，經過softmax函數處理後可把任意數據（一般表現爲向量） 處理成概率形式，這樣就可以用交叉熵的方法得到與真實概率分佈之間損失，進而優化模型參數，本篇先介紹信息熵、交叉熵、相對熵，然後對softmax函數

>>阅读原文<<