機器學習筆記（決策樹）

熵概念 一條信息的不確定性和它的不確定性有直接關係。比如一個非常不確定的信息，爲了弄懂它，我們需要了解大量關於它的信息，信息量的度量就等於信息的不確定性大小（熵的大小）。 例如：班級裏誰會當選班長？ 用比特還衡量信息的多少： -（p1 * log_2(p1) + p2 * log_2(p2) + …+ pn * log_2(pn)） 用上方的公式來衡量熵的值。 pn指的是第n個人當選上班長的可能性

>>阅读原文<<