機器學習（決策樹一）——最直白的話來說信息熵

接下來幾篇博客介紹決策樹，並且儘量用最直白的話來講解。本篇博客介紹決策樹中比較重要的一個概念——信息熵。 前置內容 信息熵可以說是決策樹中最基本的概念，在介紹信息熵前，補充一點兒前置內容。 假設存在一組隨機變量X，各個值出現的概率關係如圖 現在有一組由X變量組成的序列: BACADDCBAC…；如果現在希望將這個序列轉換爲二進制來進行網絡傳輸，那麼我們得到一個這樣的序列:0100100011111

>>阅读原文<<