信息量，熵，交叉熵，KL散度的手寫總結

大致過程 首先上圖，簡單的神經網絡： 1 輸出的y向量經過softmax變成概率分佈向量 也意味着，你只可能是屬於1類，因爲通常你選擇最大概率對應的類別作爲預測類別。 但是實際中如果出現，人和女人這種類別，有包含關係，最好用邏輯迴歸。 !注意： softmax 只有兩種類別時候就是邏輯斯特迴歸！ 2 對應於真實的標籤分佈，計算交叉熵。 注意： KL散度類似於"距離"，但不是距離。距離定義是dist

>>阅读原文<<