Python數據科學：決策樹

決策樹呈樹形結構，是一種基本的迴歸和分類方法。

決策樹模型的優勢在於可讀性強、分類速度快。

下面經過從「譯學館」搬運的兩個視頻，來簡單瞭解下決策樹。

https://v.qq.com/x/page/d0859rbwmi8.html

https://v.qq.com/x/page/m0859ei9v6q.html

最後來實戰一波，創建一個簡單的決策樹模型。

/ 01 / 決策樹算法

本次主要涉及兩類決策樹，Quinlan系列決策樹和CART決策樹。

前者涉及的算法包括ID3算法、C4.5算法及C5.0算法，後者則是CART算法。

前者一系列算法的步驟整體能夠歸納爲建樹和剪樹。

在建樹步驟中，首先選擇最有解釋力度的變量，接着對每一個變量選擇最優的分割點進行剪樹。

剪樹，去掉決策樹中噪音或異常數據，在損失必定預測精度的狀況下，可以控制決策樹的複雜度，提升其泛化能力。

在剪樹步驟中，分爲前剪枝和後剪枝。

前剪枝用於控制樹的生成規模，經常使用方法有控制決策樹最大深度、控制樹中父結點和子結點的最少樣本量或比例。

後剪枝用於刪除沒有意義的分組，經常使用方法有計算結點中目標變量預測精度或偏差、綜合考慮偏差與複雜度進行剪樹。

此外在ID3算法中，使用信息增益挑選最有解釋力度的變量。

其中信息增益爲信息熵減去條件熵獲得，增益越大，則變量的影響越大。

C4.5算法則是使用信息增益率做爲變量篩選的指標。

CART算法可用於分類或數值預測，使用基尼係數(gini)做爲選擇最優分割變量的指標。

/ 02/ Python實現

慣例，繼續使用書中提供的數據。

一份汽車違約貸款數據集。

讀取數據，並對數據進行清洗處理。

import os
import pydotplus
import numpy as np
import pandas as pd
import sklearn.tree as tree
import matplotlib.pyplot as plt
from IPython.display import Image
import sklearn.metrics as metrics
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split, ParameterGrid, GridSearchCV

# 消除pandas輸出省略號狀況
pd.set_option('display.max_columns', None)
# 設置顯示寬度爲1000,這樣就不會在IDE中換行了
pd.set_option('display.width', 1000)
# 讀取數據,skipinitialspace:忽略分隔符後的空白
accepts = pd.read_csv('accepts.csv', skipinitialspace=True)
# dropna:對缺失的數據進行刪除
accepts = accepts.dropna(axis=0, how='any')

# 因變量,是否違約
target = accepts['bad_ind']
# 自變量
data = accepts.ix[:, 'bankruptcy_ind':'used_ind']
# 業務處理,loan_amt:貸款金額,tot_income:月均收入
data['lti_temp'] = data['loan_amt'] / data['tot_income']
data['lti_temp'] = data['lti_temp'].map(lambda x: 10 if x >= 10 else x)
# 刪除貸款金額列
del data['loan_amt']
# 替換曾經破產標識列
data['bankruptcy_ind'] = data['bankruptcy_ind'].replace({'N': 0, 'Y': 1})

接下來使用scikit-learn將數據集劃分爲訓練集和測試集。

# 使用scikit-learn將數據集劃分爲訓練集和測試集
train_data, test_data, train_target, test_target = train_test_split(data, target, test_size=0.2, train_size=0.8, random_state=1234)

初始化一個決策樹模型，使用訓練集進行訓練。

採用基尼係數做爲樹的生長依據，樹的最大深度爲3，每一類標籤的權重同樣。

# 初始化一個決策樹模型
clf = DecisionTreeClassifier(criterion='gini', max_depth=3, class_weight=None, random_state=1234)
# 輸出決策樹模型信息
print(clf.fit(train_data, train_target))

輸出的模型信息以下。

對生成的決策樹模型進行評估。

# 輸出決策樹模型的決策類評估指標
print(metrics.classification_report(test_target, clf.predict(test_data)))

# 對不一樣的因變量進行權重設置
clf.set_params(**{'class_weight': {0: 1, 1: 3}})
clf.fit(train_data, train_target)
# 輸出決策樹模型的決策類評估指標
print(metrics.classification_report(test_target, clf.predict(test_data)))

# 輸出決策樹模型的變量重要性排序
print(list(zip(data.columns, clf.feature_importances_)))

輸出以下。

能夠看出對因變量標籤進行權重設置後，模型對違約用戶的f1-score(精確率和召回率的調和平均數)提升了，爲0.46。

違約用戶被識別的靈敏度也從0.24提升到了0.46。

此外決策樹模型的變量重要性排序爲「FICO打分」、「信用卡受權額度」、「貸款金額/建議售價*100」。

經過安裝graphviz和相應的插件，便能實現決策樹的可視化輸出，具體安裝過程不細說。

# 設置graphviz路徑
os.environ["PATH"] += os.pathsep + 'C:/Program Files (x86)/Graphviz2.38/bin/'
# 決策樹的可視化
dot_data = tree.export_graphviz(clf, out_file=None, feature_names=data.columns, class_names=['0', '1'], filled=True)
graph = pydotplus.graph_from_dot_data(dot_data)
Image(graph.create_png())
# 將決策樹模型輸出爲圖片
graph.write_png(r'pang.png')
# 將決策樹模型輸出爲PDF
graph.write_pdf('tree.pdf')

可視化結果以下。

能夠看見決策樹根節點以fico_score <= 683.5爲分割標準。

全體樣本的基尼係數爲0.483，在3284個樣本中，被預測變量爲0的有2671個，爲1的有1839個。

使用scikit-learn提供的參數搜索進行調優(GridSearchCV)。

# 設置樹的最大深度
max_depth = [None, ]
# 設置樹的最大葉節點數
max_leaf_nodes = np.arange(5, 10, 1)
# 設置樹的類標籤權重
class_weight = [{0: 1, 1: 2}, {0: 1, 1: 3}]
# 設置參數網格
param_grid = {'max_depth': max_depth,
              'max_leaf_nodes': max_leaf_nodes,
              'class_weight': class_weight}
# 對參數組合進行建模和效果驗證
clf_cv = GridSearchCV(estimator=clf,
                      param_grid=param_grid,
                      cv=5,
                      scoring='roc_auc')
# 輸出網格搜索的決策樹模型信息
print(clf_cv.fit(train_data, train_target))

輸出網格搜索的決策樹模型信息。

使用獲得的「最優」模型對測試集進行評估。

# 輸出優化後的決策樹模型的決策類評估指標
print(metrics.classification_report(test_target, clf_cv.predict(test_data)))
# 輸出優化後的決策樹模型的參數組合
print(clf_cv.best_params_)

輸出結果。

計算模型在不一樣閾值下的靈敏度和特異度指標，繪製ROC曲線。

# 使用模型進行預測
train_est = clf_cv.predict(train_data)
train_est_p = clf_cv.predict_proba(train_data)[:, 1]
test_est = clf_cv.predict(test_data)
test_est_p = clf_cv.predict_proba(test_data)[:, 1]


# 繪製ROC曲線
fpr_test, tpr_test, th_test = metrics.roc_curve(test_target, test_est_p)
fpr_train, tpr_train, th_train = metrics.roc_curve(train_target, train_est_p)
plt.figure(figsize=[3, 3])
plt.plot(fpr_test, tpr_test, 'b--')
plt.plot(fpr_train, tpr_train, 'r-')
plt.title('ROC curve')
plt.show()

# 計算AUC值
print(metrics.roc_auc_score(test_target, test_est_p))

ROC曲線圖以下，其中訓練集的ROC曲線(實線)與測試集的ROC曲線(虛線)很接近，說明模型沒有過擬合。

模型的ROC曲線下面積爲0.7358，模型效果通常。

相關資料獲取，請點擊閱讀原文。

···  END  ···