Kullback-Leibler(KL)散度介紹

在這篇文章中，我們將探討一種比較兩個概率分佈的方法，稱爲Kullback-Leibler散度(通常簡稱爲KL散度)。通常在概率和統計中，我們會用更簡單的近似分佈來代替觀察到的數據或複雜的分佈。KL散度幫助我們衡量在選擇近似值時損失了多少信息。 讓我們從一個問題開始我們的探索。假設我們是太空科學家，正在訪問一個遙遠的新行星，我們發現了一種咬人的蠕蟲，我們想研究它。我們發現這些蠕蟲有10顆牙齒，但由於

>>阅读原文<<