大話講解：歸一化(softmax)、信息熵、交叉熵

一、歸一化 把幾個數量級不同的數據，放在一起比較（或者畫在一個數軸上），比如：一條河的長度幾千甚至上萬km，與一個人的高度1.7m，放在一起，人的高度幾乎可以被忽略，所以爲了方便比較，縮小他們的差距，但又能看出二者的大小關係，可以找一個方法進行轉換。 另外，在多分類預測時，比如：一張圖，要預測它是貓，或是狗，或是人，或是其它什麼，每個分類都有一個預測的概率，比如是貓的概率是0.7，狗的概率是0.1

>>阅读原文<<