熵、相對熵、互信息

在學習AdaBoost之前，建議瞭解的預備知識，包括概率論（用於公式推導）、信息的基礎知識，有利於理解算法思路的來龍去脈。此處附上原博客地址：http://www.javashuo.com/article/p-uvtaunis-dm.html 一.什麼是熵 Ⅰ.信息量 首先考慮一個離散的隨機變量x,當我們觀察到這個變量的一個具體值的時候,我們接收到多少信息呢? 我們暫時把信息看做在學習x的值時候的

>>阅读原文<<