關於KL距離（KL Divergence）

做者：覃含章 連接：https://www.zhihu.com/question/29980971/answer/103807952 來源：知乎 著做權歸做者全部。商業轉載請聯繫做者得到受權，非商業轉載請註明出處。 最先KL divergence就是從信息論裏引入的，不過既然題主問的是ML中的應用，就很少作具體介紹。只是簡單概述給定真實機率分佈P和近似分佈Q，KL divergence所表達的就是

>>阅读原文<<