再探決策樹算法之利用sklearn進行決策樹實戰

sklearn模塊提供了決策樹的解決方案，不用本身去造輪子了（不會造，感受略複雜）：

下面是筆記：

Sklearn.tree參數介紹及使用建議 參數介紹及使用建議
官網： http://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html class sklearn.tree.DecisionTreeClassifier(criterion='gini', splitter='best', max_depth=None, min_samples_split=2,min_samples_leaf=1, max_features=None, random_state=None, min_density=None, compute_importances=None,max_leaf_nodes=None)
比較重要的參數：
criterion ：規定了該決策樹所採用的的最佳分割屬性的判決方法，有兩種：「gini」，「entropy」。
max_depth ：限定了決策樹的最大深度，對於防止過擬合很是有用。
min_samples_leaf ：限定了葉子節點包含的最小樣本數，這個屬性對於防止上文講到的數據碎片問題頗有做用
模塊中一些重要的屬性方法：
n_classes_ ：決策樹中的類數量。
classes_ ：返回決策樹中的全部種類標籤。
feature_importances_ ：feature的重要性，值越大那麼越重要。
fit(X, y, sample_mask=None, X_argsorted=None, check_input=True, sample_weight=None) 將數據集x，和標籤集y送入分類器進行訓練，這裏要注意一個參數是：sample_weright，它和樣本的數量同樣長，所攜帶的是每一個樣本的權重。
get_params(deep=True) 獲得決策樹的各個參數。
set_params(**params) 調整決策樹的各個參數。
predict(X) 送入樣本X，獲得決策樹的預測。能夠同時送入多個樣本。
transform(X, threshold=None) 返回X的較重要的一些feature，至關於裁剪數據。
score(X, y, sample_weight=None) 返回在數據集X,y上的測試分數，正確率。
使用建議
1. 當咱們數據中的feature較多時，必定要有足夠的數據量來支撐咱們的算法，否則的話很容易overfitting
2. PCA是一種避免高維數據overfitting的辦法。
3. 從一棵較小的樹開始探索，用export方法打印出來看看。
4. 善用max_depth參數，緩慢的增長並測試模型，找出最好的那個depth。
5. 善用min_samples_split和min_samples_leaf參數來控制葉子節點的樣本數量，防止overfitting。
6. 平衡訓練數據中的各個種類的數據，防止一個種類的數據dominate。

 

後面開始實戰：

#-*-coding:utf-8 -*-
from sklearn import tree
from sklearn.metrics import precision_recall_curve
from sklearn.metrics import classification_report
from sklearn.cross_validation import train_test_split
import numpy as np

#讀取數據
data=[]
labels=[]
#根據text裏的數據格式將數據寫到list裏
with open('C:\Users\cchen\Desktop\sample.txt','r') as f:
    for line in f:
        linelist=line.split(' ')
        data.append([float(el) for el in linelist[:-1]])
        labels.append(linelist[-1].strip())
# print data
# [[1.5, 50.0], [1.5, 60.0], [1.6, 40.0], [1.6, 60.0], [1.7, 60.0], [1.7, 80.0], [1.8, 60.0], [1.8, 90.0], [1.9, 70.0], [1.9, 80.0]]
# print labels
x=np.array(data)
labels=np.array(labels)
# print labels
# ['thin' 'fat' 'thin' 'fat' 'thin' 'fat' 'thin' 'fat' 'thin' 'fat']
y=np.zeros(labels.shape)
# print y
# [ 0.  0.  0.  0.  0.  0.  0.  0.  0.  0.]
# print labels=='fat'
# [False  True False  True False  True False  True False  True]
# 這個替換的方法很巧妙，能夠一學，利用布爾值來給list賦值。要是個人話就要寫個循環了。
y[labels=='fat']=1
# print y
# [ 0.  1.  0.  1.  0.  1.  0.  1.  0.  1.]
#拆分訓練數據和測試數據,把20%的當作測試數據，其實我感受直接分片就能夠的，不過這樣比較高大上一點
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.2)
#使用信息熵做爲劃分標準，對決策樹進行訓練
clf=tree.DecisionTreeClassifier(criterion='entropy')
# print clf
# DecisionTreeClassifier(class_weight=None, criterion='entropy', max_depth=None,
#             max_features=None, max_leaf_nodes=None,
#             min_impurity_split=1e-07, min_samples_leaf=1,
#             min_samples_split=2, min_weight_fraction_leaf=0.0,
#             presort=False, random_state=None, splitter='best')
clf.fit(x_train,y_train)
#把決策樹寫入文件
with open(r'C:\Users\cchen\Desktop\tree.dot','w+') as f:
    f=tree.export_graphviz(clf,out_file=f)
# digraph Tree {
# node [shape=box] ;
# 0 [label="X[1] <= 70.0\nentropy = 0.9544\nsamples = 8\nvalue = [3, 5]"] ;
# 1 [label="X[0] <= 1.65\nentropy = 0.971\nsamples = 5\nvalue = [3, 2]"] ;
# 0 -> 1 [labeldistance=2.5, labelangle=45, headlabel="True"] ;
# 2 [label="X[1] <= 55.0\nentropy = 0.9183\nsamples = 3\nvalue = [1, 2]"] ;
# 1 -> 2 ;
# 3 [label="entropy = 0.0\nsamples = 1\nvalue = [1, 0]"] ;
# 2 -> 3 ;
# 4 [label="entropy = 0.0\nsamples = 2\nvalue = [0, 2]"] ;
# 2 -> 4 ;
# 5 [label="entropy = 0.0\nsamples = 2\nvalue = [2, 0]"] ;
# 1 -> 5 ;
# 6 [label="entropy = 0.0\nsamples = 3\nvalue = [0, 3]"] ;
# 0 -> 6 [labeldistance=2.5, labelangle=-45, headlabel="False"] ;
# }
#係數反應每一個特徵值的影響力
# print clf.feature_importances_
# [ 0.3608012  0.6391988],能夠看到身高係數影響較大
#測試結果打印
anwser=clf.predict(x_train)
# print x_train
print anwser
# [ 1.  0.  1.  0.  1.  0.  1.  0.]
print y_train
# [ 1.  0.  1.  0.  1.  0.  1.  0.]
print np.mean(anwser==y_train)
# 1.0 很準，畢竟用的是訓練的數據
#讓咱們用測試的數據來看看
anwser=clf.predict(x_test)
print anwser
# [ 0.  0.]
print y_test
# [ 0.  0.]
print np.mean(anwser==y_test)
# 1.0 也很準
#這個是教程裏的註釋，我沒碰到
#準確率與召回率 #準確率：某個類別在測試結果中被正確測試的比率 #召回率：某個類別在真實結果中被正確預測的比率 #測試結果：array([ 0., 1., 0., 1., 0., 1., 0., 1., 0., 0.]) #真實結果：array([ 0., 1., 0., 1., 0., 1., 0., 1., 0., 1.]) #分爲thin的準確率爲0.83。是由於分類器分出了6個thin，其中正確的有5個，所以分爲thin的準確率爲5/6=0.83。 #分爲thin的召回率爲1.00。是由於數據集中共有5個thin，而分類器把他們都分對了（雖然把一個fat分紅了thin！），召回率5/5=1。 #分爲fat的準確率爲1.00。再也不贅述。 #分爲fat的召回率爲0.80。是由於數據集中共有5個fat，而分類器只分出了4個（把一個fat分紅了thin！），召回率4/5=0.80。 #本例中，目標是儘量保證找出來的胖子是真胖子（準確率），仍是保證儘量找到更多的胖子（召回率）。
precision,recall,thresholds=precision_recall_curve(y_train,clf.predict(x_train))
print precision,recall,thresholds
# [ 1.  1.] [ 1.  0.] [ 1.]
anwser=clf.predict_proba(x)[:,1]
print classification_report(y,anwser,target_names=['thin','fat'])
#              precision    recall  f1-score   support

       # thin       1.00      1.00      1.00         5
       #  fat       1.00      1.00      1.00         5
#
#  avg / total       1.00      1.00      1.00        10