從香農熵到手推KL散度：一文帶你縱覽機器學習中的信息論

信息論與信息熵是 AI 或機器學習中非常重要的概念，我們經常需要使用它的關鍵思想來描述概率分佈或者量化概率分佈之間的相似性。在本文中，我們從最基本的自信息和信息熵到交叉熵討論了信息論的基礎，再由最大似然估計推導出 KL 散度而加強我們對量化分佈間相似性的理解。最後我們簡要討論了信息熵在機器學習中的應用，包括通過互信息選擇決策樹的特徵、通過交叉熵衡量分類問題的損失和貝葉斯學習等。 >>>> 信息論是

>>阅读原文<<