K-L散度

從下面這個問題出發思考K-L散度。 假設我們是一羣太空科學家，經過遙遠的旅行，來到了一顆新發現的星球。在這個星球上，生存着一種長有牙齒的蠕蟲，引起了我們的研究興趣。我們發現這種蠕蟲生有10顆牙齒，但是因爲不注意口腔衛生，又喜歡嚼東西，許多蠕蟲會掉牙。收集大量樣本之後，我們得到關於蠕蟲牙齒數量的經驗分佈，如下圖所示. 這些數據很有價值，但是也有點問題。我們距離地球🌍太遠了，把這些概率分佈數據發送回

>>阅读原文<<