機器學習算法基礎3-決策樹

摘要 今天介紹決策樹以及 信息論基礎首先我們看到 信息論基礎可以分爲 熵 是接收的每條消息中包含的資訊的平均量，又被稱爲資訊熵，信源熵，平均資訊本體量。這裏，「消息」代表來自分佈或數據流中的事件，樣本或特徵。（熵最好理解爲不確定性的量度而不是確定性的量度，因爲越隨機的信源的熵越大。） 聯合熵 聯合熵的定義，代表X,Y同時發生的不確定性 條件熵 在資訊理論中，條件熵描述了在已知第二個隨機變量 X的值

>>阅读原文<<