Scikit-learn使用總結

在機器學習和數據挖掘的應用中，scikit-learn是一個功能強大的python包。在數據量不是過大的狀況下，能夠解決大部分問題。學習使用scikit-learn的過程當中，我本身也在補充着機器學習和數據挖掘的知識。這裏根據本身學習sklearn的經驗，我作一個總結的筆記。另外，我也想把這篇筆記一直更新下去。

1 scikit-learn基礎介紹

1.1 估計器（Estimator）

估計器，不少時候能夠直接理解成分類器，主要包含兩個函數：

• fit()：訓練算法，設置內部參數。接收訓練集和類別兩個參數。
• predict()：預測測試集類別，參數爲測試集。
  大多數scikit-learn估計器接收和輸出的數據格式均爲numpy數組或相似格式。

1.2 轉換器（Transformer）

轉換器用於數據預處理和數據轉換，主要是三個方法：

• fit()：訓練算法，設置內部參數。
• transform()：數據轉換。
• fit_transform()：合併fit和transform兩個方法。

1.3 流水線（Pipeline）

sklearn.pipeline包

流水線的功能：

• 跟蹤記錄各步驟的操做（以方便地重現實驗結果）
• 對各步驟進行一個封裝
• 確保代碼的複雜程度不至於超出掌控範圍

基本使用方法

流水線的輸入爲一連串的數據挖掘步驟，其中最後一步必須是估計器，前幾步是轉換器。輸入的數據集通過轉換器的處理後，輸出的結果做爲下一步的輸入。最後，用位於流水線最後一步的估計器對數據進行分類。
每一步都用元組（ ‘名稱’，步驟）來表示。如今來建立流水線。

scaling_pipeline = Pipeline([
  ('scale', MinMaxScaler()), ('predict', KNeighborsClassifier()) ])

1.4 預處理

主要在sklearn.preprcessing包下。

規範化：

• MinMaxScaler :最大最小值規範化
• Normalizer :使每條數據各特徵值的和爲1
• StandardScaler :爲使各特徵的均值爲0，方差爲1

編碼：

• LabelEncoder ：把字符串類型的數據轉化爲整型
• OneHotEncoder ：特徵用一個二進制數字來表示
• Binarizer :爲將數值型特徵的二值化
• MultiLabelBinarizer：多標籤二值化

1.5 特徵

1.5.1 特徵抽取

包：sklearn.feature_extraction
特徵抽取是數據挖掘任務最爲重要的一個環節，通常而言，它對最終結果的影響要高過數據挖掘算法自己。只有先把現實用特徵表示出來，才能藉助數據挖掘的力量找到問題的答案。特徵選擇的另外一個優勢在於：下降真實世界的複雜度，模型比現實更容易操縱。
通常最常使用的特徵抽取技術都是高度針對具體領域的，對於特定的領域，如圖像處理，在過去一段時間已經開發了各類特徵抽取的技術，但這些技術在其餘領域的應用卻很是有限。

• DictVectorizer： 將dict類型的list數據，轉換成numpy array
• FeatureHasher ： 特徵哈希，至關於一種降維技巧
• image：圖像相關的特徵抽取
• text： 文本相關的特徵抽取
• text.CountVectorizer：將文本轉換爲每一個詞出現的個數的向量
• text.TfidfVectorizer：將文本轉換爲tfidf值的向量
• text.HashingVectorizer：文本的特徵哈希

示例

data.png

CountVectorize只數出現個數

count.png

hash.png

TfidfVectorizer：個數+歸一化（不包括idf）

tfidf(without idf).png

1.5.2 特徵選擇

包：sklearn.feature_selection
特徵選擇的緣由以下：
(1)下降複雜度
(2)下降噪音
(3)增長模型可讀性

• VarianceThreshold： 刪除特徵值的方差達不到最低標準的特徵
• SelectKBest： 返回k個最佳特徵
• SelectPercentile： 返回表現最佳的前r%個特徵

單個特徵和某一類別之間相關性的計算方法有不少。最經常使用的有卡方檢驗（χ2）。其餘方法還有互信息和信息熵。

• chi2： 卡方檢驗（χ2）

1.6 降維

包：sklearn.decomposition

• 主成分分析算法（Principal Component Analysis， PCA）的目的是找到能用較少信息描述數據集的特徵組合。它意在發現彼此之間沒有相關性、可以描述數據集的特徵，確切說這些特徵的方差跟總體方差沒有多大差距，這樣的特徵也被稱爲主成分。這也就意味着，藉助這種方法，就能經過更少的特徵捕獲到數據集的大部分信息。

1.7 組合

包：sklearn.ensemble
組合技術即經過彙集多個分類器的預測來提升分類準確率。
經常使用的組合分類器方法：
(1)經過處理訓練數據集。即經過某種抽樣分佈，對原始數據進行再抽樣，獲得多個訓練集。經常使用的方法有裝袋（bagging）和提高（boosting）。
(2)經過處理輸入特徵。即經過選擇輸入特徵的子集造成每一個訓練集。適用於有大量冗餘特徵的數據集。隨機森林（Random forest）就是一種處理輸入特徵的組合方法。
(3)經過處理類標號。適用於多分類的狀況，將類標號隨機劃分紅兩個不相交的子集，再把問題變爲二分類問題，重複構建屢次模型，進行分類投票。

• BaggingClassifier： Bagging分類器組合
• BaggingRegressor： Bagging迴歸器組合
• AdaBoostClassifier： AdaBoost分類器組合
• AdaBoostRegressor： AdaBoost迴歸器組合
• GradientBoostingClassifier：GradientBoosting分類器組合
• GradientBoostingRegressor： GradientBoosting迴歸器組合
• ExtraTreeClassifier：ExtraTree分類器組合
• ExtraTreeRegressor： ExtraTree迴歸器組合
• RandomTreeClassifier：隨機森林分類器組合
• RandomTreeRegressor： 隨機森林迴歸器組合

使用舉例

AdaBoostClassifier(DecisionTreeClassifier(max_depth=1), algorithm="SAMME", n_estimators=200)

解釋
裝袋（bagging）：根據均勻機率分佈從數據集中重複抽樣（有放回），每一個自助樣本集和原數據集同樣大，每一個自助樣本集含有原數據集大約63%的數據。訓練k個分類器，測試樣本被指派到得票最高的類。
提高（boosting）：經過給樣本設置不一樣的權值，每輪迭代調整權值。不一樣的提高算法之間的差異，通常是（1）如何更新樣本的權值，（2）如何組合每一個分類器的預測。其中Adaboost中，樣本權值是增長那些被錯誤分類的樣本的權值，分類器C_i的重要性依賴於它的錯誤率。
Boosting主要關注下降誤差，所以Boosting能基於泛化性能至關弱的學習器構建出很強的集成；Bagging主要關注下降方差，所以它在不剪枝的決策樹、神經網絡等學習器上效用更爲明顯。誤差指的是算法的指望預測與真實預測之間的誤差程度，反應了模型自己的擬合能力；方差度量了同等大小的訓練集的變更致使學習性能的變化，刻畫了數據擾動所致使的影響。

1.8 模型評估（度量）

包：sklearn.metrics
sklearn.metrics包含評分方法、性能度量、成對度量和距離計算。
分類結果度量
參數大可能是y_true和y_pred。

• accuracy_score：分類準確度
• condusion_matrix ：分類混淆矩陣
• classification_report：分類報告
• precision_recall_fscore_support：計算精確度、召回率、f、支持率
• jaccard_similarity_score：計算jcaard類似度
• hamming_loss：計算漢明損失
• zero_one_loss：0-1損失
• hinge_loss：計算hinge損失
• log_loss：計算log損失

其中，F1是以每一個類別爲基礎進行定義的，包括兩個概念：準確率（precision）和召回率（recall）。準確率是指預測結果屬於某一類的個體，實際屬於該類的比例。召回率是被正確預測爲某類的個體，與數據集中該類個體總數的比例。F1是準確率和召回率的調和平均數。

迴歸結果度量

• explained_varicance_score：可解釋方差的迴歸評分函數
• mean_absolute_error：平均絕對偏差
• mean_squared_error：平均平方偏差

多標籤的度量

• coverage_error：涵蓋偏差
• label_ranking_average_precision_score：計算基於排名的平均偏差Label ranking average precision (LRAP)

聚類的度量

• adjusted_mutual_info_score：調整的互信息評分
• silhouette_score：全部樣本的輪廓係數的平均值
• silhouette_sample：全部樣本的輪廓係數

1.9 交叉驗證

包：sklearn.cross_validation

• KFold：K-Fold交叉驗證迭代器。接收元素個數、fold數、是否清洗
• LeaveOneOut：LeaveOneOut交叉驗證迭代器
• LeavePOut：LeavePOut交叉驗證迭代器
• LeaveOneLableOut：LeaveOneLableOut交叉驗證迭代器
• LeavePLabelOut：LeavePLabelOut交叉驗證迭代器

LeaveOneOut(n) 至關於 KFold(n, n_folds=n) 至關於LeavePOut(n, p=1)。
LeaveP和LeaveOne差異在於leave的個數，也就是測試集的尺寸。LeavePLabel和LeaveOneLabel差異在於leave的Label的種類的個數。
LeavePLabel這種設計是針對可能存在第三方的Label，好比咱們的數據是一些季度的數據。那麼很天然的一個想法就是把1,2,3個季度的數據當作訓練集，第4個季度的數據當作測試集。這個時候只要輸入每一個樣本對應的季度Label，就能夠實現這樣的功能。
如下是實驗代碼，儘可能本身多實驗去理解。

#coding=utf-8 import numpy as np import sklearnfrom sklearn import cross_validation X = np.array([[1, 2], [3, 4], [5, 6], [7, 8],[9, 10]]) y = np.array([1, 2, 1, 2, 3]) def show_cross_val(method): if method == "lolo": labels = np.array(["summer", "winter", "summer", "winter", "spring"]) cv = cross_validation.LeaveOneLabelOut(labels) elif method == 'lplo': labels = np.array(["summer", "winter", "summer", "winter", "spring"]) cv = cross_validation.LeavePLabelOut(labels,p=2) elif method == 'loo': cv = cross_validation.LeaveOneOut(n=len(y)) elif method == 'lpo': cv = cross_validation.LeavePOut(n=len(y),p=3) for train_index, test_index in cv: print("TRAIN:", train_index, "TEST:", test_index) X_train, X_test = X[train_index], X[test_index] y_train, y_test = y[train_index], y[test_index] print "X_train: ",X_train print "y_train: ", y_train print "X_test: ",X_test print "y_test: ",y_test if __name__ == '__main__': show_cross_val("lpo")

經常使用方法

• train_test_split：分離訓練集和測試集（不是K-Fold）
• cross_val_score：交叉驗證評分，能夠指認cv爲上面的類的實例
• cross_val_predict：交叉驗證的預測。

1.10 網格搜索

包：sklearn.grid_search
網格搜索最佳參數

• GridSearchCV：搜索指定參數網格中的最佳參數
• ParameterGrid：參數網格
• ParameterSampler：用給定分佈生成參數的生成器
• RandomizedSearchCV：超參的隨機搜索
  經過best_estimator_.get_params()方法，獲取最佳參數。

1.11 多分類、多標籤分類

包：sklearn.multiclass

• OneVsRestClassifier：1-rest多分類（多標籤）策略
• OneVsOneClassifier：1-1多分類策略
• OutputCodeClassifier：1個類用一個二進制碼錶示
  示例代碼

  #coding=utf-8 from sklearn import metrics from sklearn import cross_validation from sklearn.svm import SVC from sklearn.multiclass import OneVsRestClassifier from sklearn.preprocessing import MultiLabelBinarizer import numpy as np from numpy import random X=np.arange(15).reshape(5,3) y=np.arange(5) Y_1 = np.arange(5) random.shuffle(Y_1) Y_2 = np.arange(5) random.shuffle(Y_2) Y = np.c_[Y_1,Y_2] def multiclassSVM(): X_train, X_test, y_train, y_test = cross_validation.train_test_split(X, y, test_size=0.2,random_state=0) model = OneVsRestClassifier(SVC()) model.fit(X_train, y_train) predicted = model.predict(X_test) print predicted def multilabelSVM(): Y_enc = MultiLabelBinarizer().fit_transform(Y) X_train, X_test, Y_train, Y_test = cross_validation.train_test_split(X, Y_enc, test_size=0.2, random_state=0) model = OneVsRestClassifier(SVC()) model.fit(X_train, Y_train) predicted = model.predict(X_test) print predicted if __name__ == '__main__': multiclassSVM() # multilabelSVM()

  上面的代碼測試了svm在OneVsRestClassifier的包裝下，分別處理多分類和多標籤的狀況。特別注意，在多標籤的狀況下，輸入必須是二值化的。因此須要MultiLabelBinarizer()先處理。

2 具體模型

2.1 樸素貝葉斯（Naive Bayes）

包：sklearn.cross_validation

樸素貝葉斯.png

樸素貝葉斯的特色是分類速度快，分類效果不必定是最好的。

• GasussianNB：高斯分佈的樸素貝葉斯
• MultinomialNB：多項式分佈的樸素貝葉斯
• BernoulliNB：伯努利分佈的樸素貝葉斯

所謂使用什麼分佈的樸素貝葉斯，就是假設P(x_i|y)是符合哪種分佈，好比能夠假設其服從高斯分佈，而後用最大似然法估計高斯分佈的參數。

高斯分佈.png

多項式分佈.png

伯努利分佈.png

3 scikit-learn擴展

3.0 概覽

具體的擴展，一般要繼承sklearn.base包下的類。

• BaseEstimator： 估計器的基類
• ClassifierMixin ：分類器的混合類
• ClusterMixin：聚類器的混合類
• RegressorMixin ：迴歸器的混合類
• TransformerMixin ：轉換器的混合類

關於什麼是Mixin（混合類），具體能夠看這個知乎連接。簡單地理解，就是帶有實現方法的接口，能夠將其看作是組合模式的一種實現。舉個例子，好比說經常使用的TfidfTransformer，繼承了BaseEstimator， TransformerMixin，所以它的基本功能就是單一職責的估計器和轉換器的組合。

3.1 建立本身的轉換器

在特徵抽取的時候，常常會發現本身的一些數據預處理的方法，sklearn裏可能沒有實現，但若直接在數據上改，又容易將代碼弄得混亂，難以重現實驗。這個時候最好本身建立一個轉換器，在後面將這個轉換器放到pipeline裏，統一管理。
例如《Python數據挖掘入門與實戰》書中的例子，咱們想接收一個numpy數組，根據其均值將其離散化，任何高於均值的特徵值替換爲1，小於或等於均值的替換爲0。
代碼實現：

from sklearn.base import TransformerMixin from sklearn.utils import as_float_array class MeanDiscrete(TransformerMixin): #計算出數據集的均值，用內部變量保存該值。 def fit(self, X, y=None): X = as_float_array(X) self.mean = np.mean(X, axis=0) #返回self，確保在轉換器中可以進行鏈式調用（例如調用transformer.fit(X).transform(X)） return self def transform(self, X): X = as_float_array(X) assert X.shape[1] == self.mean.shape[0] return X > self.mean