面試問題總結----GBDT&LightGBM&Xgboost

1.信息熵 信息增益 信息增益率 基尼係數 在信號中每種信號出現的可能爲pi (對應到最簡單的二分類爲 0 出現的可能爲p0,1出現的可能爲p1) 咱們使用-log pi 來表示這種不肯定性 ，那麼對於全部信號的不肯定性 很明顯須要使用他們的指望來表示 即 -∑pilog(pi) 稱爲信息熵web 信息增益就是選取某一特徵做爲樹模型的分裂條件以後 將原始數據分爲若干部分 若干部分的信息熵之和相比於

>>阅读原文<<