機器學習面筆試-決策樹篇

1. 決策樹怎麼做迴歸 讓所有節點求平均值。 2. 熵、聯合熵、條件熵、交叉熵、KL散度（相對熵），信息增益，互信息，信息增益率的計算 簡介： 熵用於衡量不確定性，所以均分的時候熵最大 KL散度用於度量兩個分佈的不相似性，KL(p||q)等於交叉熵H(p,q)-熵H(p)。交叉熵可以看成是用q編碼P所需的bit數，減去p本身需要的bit數，KL散度相當於用q編碼p需要的額外bits。 交互信息Mu

>>阅读原文<<