機器學習(決策樹一)——最直白的話來說信息熵

接下來幾篇博客介紹決策樹,並且儘量用最直白的話來講解。本篇博客介紹決策樹中比較重要的一個概念——信息熵。 前置內容 信息熵可以說是決策樹中最基本的概念,在介紹信息熵前,補充一點兒前置內容。 假設存在一組隨機變量X,各個值出現的概率關係如圖 現在有一組由X變量組成的序列: BACADDCBAC…;如果現在希望將這個序列轉換爲二進制來進行網絡傳輸,那麼我們得到一個這樣的序列:0100100011111
相關文章
相關標籤/搜索