使用sklearn作單機特徵工程

時間 2019-11-12

標籤使用 sklearn 單機特徵工程简体版

原文原文鏈接

1 特徵工程是什麼？
2 數據預處理
　　2.1 無量綱化
　　　　2.1.1 標準化
　　　　2.1.2 區間縮放法
　　　　2.1.3 標準化與歸一化的區別
　　2.2 對定量特徵二值化
　　2.3 對定性特徵啞編碼
　　2.4 缺失值計算
　　2.5 數據變換
　　2.6 回顧
3 特徵選擇
　　3.1 Filter
　　　　3.1.1 方差選擇法
　　　　3.1.2 相關係數法
　　　　3.1.3 卡方檢驗
　　　　3.1.4 互信息法
　　3.2 Wrapper
　　　　3.2.1 遞歸特徵消除法
　　3.3 Embedded
　　　　3.3.1 基於懲罰項的特徵選擇法
　　　　3.3.2 基於樹模型的特徵選擇法
　　3.4 回顧
4 降維
　　4.1 主成分分析法（PCA）
　　4.2 線性判別分析法（LDA）
　　4.3 回顧
5 總結
6 參考資料html

1 特徵工程是什麼？

　　有這麼一句話在業界普遍流傳：數據和特徵決定了機器學習的上限，而模型和算法只是逼近這個上限而已。那特徵工程究竟是什麼呢？顧名思義，其本質是一項工程活動，目的是最大限度地從原始數據中提取特徵以供算法和模型使用。經過總結和概括，人們認爲特徵工程包括如下方面：算法

　　特徵處理是特徵工程的核心部分，sklearn提供了較爲完整的特徵處理方法，包括數據預處理，特徵選擇，降維等。首次接觸到sklearn，一般會被其豐富且方便的算法模型庫吸引，可是這裏介紹的特徵處理庫也十分強大！數組

　　本文中使用sklearn中的IRIS（鳶尾花）數據集來對特徵處理功能進行說明。IRIS數據集由Fisher在1936年整理，包含4個特徵（Sepal.Length（花萼長度）、Sepal.Width（花萼寬度）、Petal.Length（花瓣長度）、Petal.Width（花瓣寬度）），特徵值都爲正浮點數，單位爲釐米。目標值爲鳶尾花的分類（Iris Setosa（山鳶尾）、Iris Versicolour（雜色鳶尾），Iris Virginica（維吉尼亞鳶尾））。導入IRIS數據集的代碼以下：app

 1 from sklearn.datasets import load_iris
 2 
 3 #導入IRIS數據集
 4 iris = load_iris()
 5 
 6 #特徵矩陣
 7 iris.data
 8 
 9 #目標向量
10 iris.target

2 數據預處理

　　經過特徵提取，咱們能獲得未經處理的特徵，這時的特徵可能有如下問題：dom

不屬於同一量綱：即特徵的規格不同，不可以放在一塊兒比較。無量綱化能夠解決這一問題。
信息冗餘：對於某些定量特徵，其包含的有效信息爲區間劃分，例如學習成績，倘若只關心「及格」或不「及格」，那麼須要將定量的考分，轉換成「1」和「0」表示及格和未及格。二值化能夠解決這一問題。
定性特徵不能直接使用：某些機器學習算法和模型只能接受定量特徵的輸入，那麼須要將定性特徵轉換爲定量特徵。最簡單的方式是爲每一種定性值指定一個定量值，可是這種方式過於靈活，增長了調參的工做。一般使用啞編碼的方式將定性特徵轉換爲定量特徵：假設有N種定性值，則將這一個特徵擴展爲N種特徵，當原始特徵值爲第i種定性值時，第i個擴展特徵賦值爲1，其餘擴展特徵賦值爲0。啞編碼的方式相比直接指定的方式，不用增長調參的工做，對於線性模型來講，使用啞編碼後的特徵可達到非線性的效果。
存在缺失值：缺失值須要補充。
信息利用率低：不一樣的機器學習算法和模型對數據中信息的利用是不一樣的，以前提到在線性模型中，使用對定性特徵啞編碼能夠達到非線性的效果。相似地，對定量變量多項式化，或者進行其餘的轉換，都能達到非線性的效果。

　　咱們使用sklearn中的preproccessing庫來進行數據預處理，能夠覆蓋以上問題的解決方案。機器學習

2.1 無量綱化

　　無量綱化使不一樣規格的數據轉換到同一規格。常見的無量綱化方法有標準化和區間縮放法。標準化的前提是特徵值服從正態分佈，標準化後，其轉換成標準正態分佈。區間縮放法利用了邊界值信息，將特徵的取值區間縮放到某個特色的範圍，例如[0, 1]等。ide

2.1.1 標準化

　　標準化須要計算特徵的均值和標準差，公式表達爲：函數

　　使用preproccessing庫的StandardScaler類對數據進行標準化的代碼以下：性能

1 from sklearn.preprocessing import StandardScaler
2 
3 #標準化，返回值爲標準化後的數據
4 StandardScaler().fit_transform(iris.data)

2.1.2 區間縮放法

　　區間縮放法的思路有多種，常見的一種爲利用兩個最值進行縮放，公式表達爲：學習

　　使用preproccessing庫的MinMaxScaler類對數據進行區間縮放的代碼以下：

1 from sklearn.preprocessing import MinMaxScaler
2 
3 #區間縮放，返回值爲縮放到[0, 1]區間的數據
4 MinMaxScaler().fit_transform(iris.data)

2.1.3 標準化與歸一化的區別

　　簡單來講，標準化是依照特徵矩陣的列處理數據，其經過求z-score的方法，將樣本的特徵值轉換到同一量綱下。歸一化是依照特徵矩陣的行處理數據，其目的在於樣本向量在點乘運算或其餘核函數計算類似性時，擁有統一的標準，也就是說都轉化爲「單位向量」。規則爲l2的歸一化公式以下：

　　使用preproccessing庫的Normalizer類對數據進行歸一化的代碼以下：

1 from sklearn.preprocessing import Normalizer
2 
3 #歸一化，返回值爲歸一化後的數據
4 Normalizer().fit_transform(iris.data)

2.2 對定量特徵二值化

　　定量特徵二值化的核心在於設定一個閾值，大於閾值的賦值爲1，小於等於閾值的賦值爲0，公式表達以下：

　　使用preproccessing庫的Binarizer類對數據進行二值化的代碼以下：

1 from sklearn.preprocessing import Binarizer
2 
3 #二值化，閾值設置爲3，返回值爲二值化後的數據
4 Binarizer(threshold=3).fit_transform(iris.data)

2.3 對定性特徵啞編碼

　　因爲IRIS數據集的特徵皆爲定量特徵，故使用其目標值進行啞編碼（其實是不須要的）。使用preproccessing庫的OneHotEncoder類對數據進行啞編碼的代碼以下：

1 from sklearn.preprocessing import OneHotEncoder
2 
3 #啞編碼，對IRIS數據集的目標值，返回值爲啞編碼後的數據
4 OneHotEncoder().fit_transform(iris.target.reshape((-1,1)))

2.4 缺失值計算

　　因爲IRIS數據集沒有缺失值，故對數據集新增一個樣本，4個特徵均賦值爲NaN，表示數據缺失。使用preproccessing庫的Imputer類對數據進行缺失值計算的代碼以下：

1 from numpy import vstack, array, nan
2 from sklearn.preprocessing import Imputer
3 
4 #缺失值計算，返回值爲計算缺失值後的數據
5 #參數missing_value爲缺失值的表示形式，默認爲NaN
6 #參數strategy爲缺失值填充方式，默認爲mean（均值）
7 Imputer().fit_transform(vstack((array([nan, nan, nan, nan]), iris.data)))

2.5 數據變換

　　常見的數據變換有基於多項式的、基於指數函數的、基於對數函數的。4個特徵，度爲2的多項式轉換公式以下：

　　使用preproccessing庫的PolynomialFeatures類對數據進行多項式轉換的代碼以下：

1 from sklearn.preprocessing import PolynomialFeatures
2 
3 #多項式轉換
4 #參數degree爲度，默認值爲2
5 PolynomialFeatures().fit_transform(iris.data)

　　基於單變元函數的數據變換可使用一個統一的方式完成，使用preproccessing庫的FunctionTransformer對數據進行對數函數轉換的代碼以下：

1 from numpy import log1p
2 from sklearn.preprocessing import FunctionTransformer
3 
4 #自定義轉換函數爲對數函數的數據變換
5 #第一個參數是單變元函數
6 FunctionTransformer(log1p).fit_transform(iris.data)

2.6 回顧

類	功能	說明
StandardScaler	無量綱化	標準化，基於特徵矩陣的列，將特徵值轉換至服從標準正態分佈
MinMaxScaler	無量綱化	區間縮放，基於最大最小值，將特徵值轉換到[0, 1]區間上
Normalizer	歸一化	基於特徵矩陣的行，將樣本向量轉換爲「單位向量」
Binarizer	二值化	基於給定閾值，將定量特徵按閾值劃分
OneHotEncoder	啞編碼	將定性數據編碼爲定量數據
Imputer	缺失值計算	計算缺失值，缺失值可填充爲均值等
PolynomialFeatures	多項式數據轉換	多項式數據轉換
FunctionTransformer	自定義單元數據轉換	使用單變元的函數來轉換數據

3 特徵選擇

　　當數據預處理完成後，咱們須要選擇有意義的特徵輸入機器學習的算法和模型進行訓練。一般來講，從兩個方面考慮來選擇特徵：

特徵是否發散：若是一個特徵不發散，例如方差接近於0，也就是說樣本在這個特徵上基本上沒有差別，這個特徵對於樣本的區分並無什麼用。
特徵與目標的相關性：這點比較顯見，與目標相關性高的特徵，應當優選選擇。除方差法外，本文介紹的其餘方法均從相關性考慮。

　　根據特徵選擇的形式又能夠將特徵選擇方法分爲3種：

Filter：過濾法，按照發散性或者相關性對各個特徵進行評分，設定閾值或者待選擇閾值的個數，選擇特徵。
Wrapper：包裝法，根據目標函數（一般是預測效果評分），每次選擇若干特徵，或者排除若干特徵。
Embedded：嵌入法，先使用某些機器學習的算法和模型進行訓練，獲得各個特徵的權值係數，根據係數從大到小選擇特徵。相似於Filter方法，可是是經過訓練來肯定特徵的優劣。

　　咱們使用sklearn中的feature_selection庫來進行特徵選擇。

3.1 Filter

3.1.1 方差選擇法

　　使用方差選擇法，先要計算各個特徵的方差，而後根據閾值，選擇方差大於閾值的特徵。使用feature_selection庫的VarianceThreshold類來選擇特徵的代碼以下：

1 from sklearn.feature_selection import VarianceThreshold
2 
3 #方差選擇法，返回值爲特徵選擇後的數據
4 #參數threshold爲方差的閾值
5 VarianceThreshold(threshold=3).fit_transform(iris.data)

3.1.2 相關係數法

　　使用相關係數法，先要計算各個特徵對目標值的相關係數以及相關係數的P值。用feature_selection庫的SelectKBest類結合相關係數來選擇特徵的代碼以下：

1 from sklearn.feature_selection import SelectKBest
2 from scipy.stats import pearsonr
3 
4 #選擇K個最好的特徵，返回選擇特徵後的數據
5 #第一個參數爲計算評估特徵是否好的函數，該函數輸入特徵矩陣和目標向量，輸出二元組（評分，P值）的數組，數組第i項爲第i個特徵的評分和P值。在此定義爲計算相關係數
6 #參數k爲選擇的特徵個數
7 SelectKBest(lambda X, Y: array(map(lambda x:pearsonr(x, Y), X.T)).T, k=2).fit_transform(iris.data, iris.target)

3.1.3 卡方檢驗

　　經典的卡方檢驗是檢驗定性自變量對定性因變量的相關性。假設自變量有N種取值，因變量有M種取值，考慮自變量等於i且因變量等於j的樣本頻數的觀察值與指望的差距，構建統計量：

　　這個統計量的含義簡而言之就是自變量對因變量的相關性。用feature_selection庫的SelectKBest類結合卡方檢驗來選擇特徵的代碼以下：

1 from sklearn.feature_selection import SelectKBest
2 from sklearn.feature_selection import chi2
3 
4 #選擇K個最好的特徵，返回選擇特徵後的數據
5 SelectKBest(chi2, k=2).fit_transform(iris.data, iris.target)

3.1.4 互信息法

　　經典的互信息也是評價定性自變量對定性因變量的相關性的，互信息計算公式以下：

　　爲了處理定量數據，最大信息係數法被提出，使用feature_selection庫的SelectKBest類結合最大信息係數法來選擇特徵的代碼以下：

 1 from sklearn.feature_selection import SelectKBest
 2 from minepy import MINE
 3 
 4 #因爲MINE的設計不是函數式的，定義mic方法將其爲函數式的，返回一個二元組，二元組的第2項設置成固定的P值0.5
 5 def mic(x, y):
 6     m = MINE()
 7     m.compute_score(x, y)
 8     return (m.mic(), 0.5)
 9 
10 #選擇K個最好的特徵，返回特徵選擇後的數據
11 SelectKBest(lambda X, Y: array(map(lambda x:mic(x, Y), X.T)).T, k=2).fit_transform(iris.data, iris.target)

3.2 Wrapper

3.2.1 遞歸特徵消除法

　　遞歸消除特徵法使用一個基模型來進行多輪訓練，每輪訓練後，消除若干權值係數的特徵，再基於新的特徵集進行下一輪訓練。使用feature_selection庫的RFE類來選擇特徵的代碼以下：

1 from sklearn.feature_selection import RFE
2 from sklearn.linear_model import LogisticRegression
3 
4 #遞歸特徵消除法，返回特徵選擇後的數據
5 #參數estimator爲基模型
6 #參數n_features_to_select爲選擇的特徵個數
7 RFE(estimator=LogisticRegression(), n_features_to_select=2).fit_transform(iris.data, iris.target)

3.3 Embedded

3.3.1 基於懲罰項的特徵選擇法

　　使用帶懲罰項的基模型，除了篩選出特徵外，同時也進行了降維。使用feature_selection庫的SelectFromModel類結合帶L1懲罰項的邏輯迴歸模型，來選擇特徵的代碼以下：

1 from sklearn.feature_selection import SelectFromModel
2 from sklearn.linear_model import LogisticRegression
3 
4 #帶L1懲罰項的邏輯迴歸做爲基模型的特徵選擇
5 SelectFromModel(LogisticRegression(penalty="l1", C=0.1)).fit_transform(iris.data, iris.target)

　　L1懲罰項降維的原理在於保留多個對目標值具備同等相關性的特徵中的一個，因此沒選到的特徵不表明不重要。故，可結合L2懲罰項來優化。具體操做爲：若一個特徵在L1中的權值爲1，選擇在L2中權值差異不大且在L1中權值爲0的特徵構成同類集合，將這一集合中的特徵平分L1中的權值，故須要構建一個新的邏輯迴歸模型：

 1 from sklearn.linear_model import LogisticRegression
 2 
 3 class LR(LogisticRegression):
 4     def __init__(self, threshold=0.01, dual=False, tol=1e-4, C=1.0,
 5                  fit_intercept=True, intercept_scaling=1, class_weight=None,
 6                  random_state=None, solver='liblinear', max_iter=100,
 7                  multi_class='ovr', verbose=0, warm_start=False, n_jobs=1):
 8 
 9         #權值相近的閾值
10         self.threshold = threshold
11         LogisticRegression.__init__(self, penalty='l1', dual=dual, tol=tol, C=C,
12                  fit_intercept=fit_intercept, intercept_scaling=intercept_scaling, class_weight=class_weight,
13                  random_state=random_state, solver=solver, max_iter=max_iter,
14                  multi_class=multi_class, verbose=verbose, warm_start=warm_start, n_jobs=n_jobs)
15         #使用一樣的參數建立L2邏輯迴歸
16         self.l2 = LogisticRegression(penalty='l2', dual=dual, tol=tol, C=C, fit_intercept=fit_intercept, intercept_scaling=intercept_scaling, class_weight = class_weight, random_state=random_state, solver=solver, max_iter=max_iter, multi_class=multi_class, verbose=verbose, warm_start=warm_start, n_jobs=n_jobs)
17 
18     def fit(self, X, y, sample_weight=None):
19         #訓練L1邏輯迴歸
20         super(LR, self).fit(X, y, sample_weight=sample_weight)
21         self.coef_old_ = self.coef_.copy()
22         #訓練L2邏輯迴歸
23         self.l2.fit(X, y, sample_weight=sample_weight)
24 
25         cntOfRow, cntOfCol = self.coef_.shape
26         #權值係數矩陣的行數對應目標值的種類數目
27         for i in range(cntOfRow):
28             for j in range(cntOfCol):
29                 coef = self.coef_[i][j]
30                 #L1邏輯迴歸的權值係數不爲0
31                 if coef != 0:
32                     idx = [j]
33                     #對應在L2邏輯迴歸中的權值係數
34                     coef1 = self.l2.coef_[i][j]
35                     for k in range(cntOfCol):
36                         coef2 = self.l2.coef_[i][k]
37                         #在L2邏輯迴歸中，權值係數之差小於設定的閾值，且在L1中對應的權值爲0
38                         if abs(coef1-coef2) < self.threshold and j != k and self.coef_[i][k] == 0:
39                             idx.append(k)
40                     #計算這一類特徵的權值係數均值
41                     mean = coef / len(idx)
42                     self.coef_[i][idx] = mean
43         return self

View Code

　　使用feature_selection庫的SelectFromModel類結合帶L1以及L2懲罰項的邏輯迴歸模型，來選擇特徵的代碼以下：

1 from sklearn.feature_selection import SelectFromModel
2 
3 #帶L1和L2懲罰項的邏輯迴歸做爲基模型的特徵選擇
4 #參數threshold爲權值係數之差的閾值
5 SelectFromModel(LR(threshold=0.5, C=0.1)).fit_transform(iris.data, iris.target)

3.3.2 基於樹模型的特徵選擇法

　　樹模型中GBDT也可用來做爲基模型進行特徵選擇，使用feature_selection庫的SelectFromModel類結合GBDT模型，來選擇特徵的代碼以下：

1 from sklearn.feature_selection import SelectFromModel
2 from sklearn.ensemble import GradientBoostingClassifier
3 
4 #GBDT做爲基模型的特徵選擇
5 SelectFromModel(GradientBoostingClassifier()).fit_transform(iris.data, iris.target)

3.4 回顧

類	所屬方式	說明
VarianceThreshold	Filter	方差選擇法
SelectKBest	Filter	可選關聯繫數、卡方校驗、最大信息係數做爲得分計算的方法
RFE	Wrapper	遞歸地訓練基模型，將權值係數較小的特徵從特徵集合中消除
SelectFromModel	Embedded	訓練基模型，選擇權值係數較高的特徵

4 降維

　　當特徵選擇完成後，能夠直接訓練模型了，可是可能因爲特徵矩陣過大，致使計算量大，訓練時間長的問題，所以下降特徵矩陣維度也是必不可少的。常見的降維方法除了以上提到的基於L1懲罰項的模型之外，另外還有主成分分析法（PCA）和線性判別分析（LDA），線性判別分析自己也是一個分類模型。PCA和LDA有不少的類似點，其本質是要將原始的樣本映射到維度更低的樣本空間中，可是PCA和LDA的映射目標不同：PCA是爲了讓映射後的樣本具備最大的發散性；而LDA是爲了讓映射後的樣本有最好的分類性能。因此說PCA是一種無監督的降維方法，而LDA是一種有監督的降維方法。

4.1 主成分分析法（PCA）

　　使用decomposition庫的PCA類選擇特徵的代碼以下：

1 from sklearn.decomposition import PCA
2 
3 #主成分分析法，返回降維後的數據
4 #參數n_components爲主成分數目
5 PCA(n_components=2).fit_transform(iris.data)

4.2 線性判別分析法（LDA）

　　使用lda庫的LDA類選擇特徵的代碼以下：

1 from sklearn.lda import LDA
2 
3 #線性判別分析法，返回降維後的數據
4 #參數n_components爲降維後的維數
5 LDA(n_components=2).fit_transform(iris.data, iris.target)

4.3 回顧

庫	類	說明
decomposition	PCA	主成分分析法
lda	LDA	線性判別分析法

5 總結

　　再讓咱們迴歸一下本文開始的特徵工程的思惟導圖，咱們可使用sklearn完成幾乎全部特徵處理的工做，並且不論是數據預處理，仍是特徵選擇，抑或降維，它們都是經過某個類的方法fit_transform完成的，fit_transform要不僅帶一個參數：特徵矩陣，要不帶兩個參數：特徵矩陣加目標向量。這些難道都是巧合嗎？仍是故意設計成這樣？方法fit_transform中有fit這一單詞，它和訓練模型的fit方法有關聯嗎？接下來，我將在《使用sklearn優雅地進行數據挖掘》中闡述其中的奧妙！