chap3-線性模型

目錄   關於交叉熵在loss函數中使用的理解 1.先談談信息量： 由於是概率所以p(x0)p(x0)的取值範圍是[0,1][0,1],繪製爲圖形如下： 2.熵就是信息量的期望。 3 相對熵（KL散度） 相對熵又稱KL散度,如果我們對於同一個隨機變量 x 有兩個單獨的概率分佈 P(x) 和 Q(x)，我們可以使用 KL 散度（Kullback-Leibler (KL) divergence）來衡量

>>阅读原文<<