特徵工程介紹

特徵工程介紹

做者：林澤龍

1 特徵工程是什麼？

優秀的模型每每取決於優秀的特徵提取，而特徵提取就須要涉及到特徵工程了。特徵工程是的目的是最大限度地從原始數據中提取特徵以供算法和模型使用。所以特徵工程主要是在特徵處理方面進行，接下來向你們介紹幾種經典和有效的特徵工程方法。

實踐前須要安裝sklearn庫，它提供了較爲完整的特徵處理方法，包括數據預處理，特徵選擇，降維等。本文中使用sklearn中的IRIS（鳶尾花）數據集來對特徵處理功能進行說明。IRIS數據集由Fisher在1936年整理，包含4個特徵（Sepal.Length（花萼長度）、Sepal.Width（花萼寬度）、Petal.Length（花瓣長度）、Petal.Width（花瓣寬度）），特徵值都爲正浮點數，單位爲釐米。目標值爲鳶尾花的分類（Iris Setosa（山鳶尾）、Iris Versicolour（雜色鳶尾），Iris Virginica（維吉尼亞鳶尾））。

導入IRIS數據集的代碼以下：

from sklearn.datasets import load_iris
 
#導入IRIS數據集
iris = load_iris()

#特徵矩陣
iris.data

#目標向量
iris.target

2 數據預處理

經過特徵提取，咱們能獲得未經處理的特徵，這時的特徵可能有如下問題：

1. 不屬於同一量綱：即特徵的規格不同，不可以放在一塊兒比較。無量綱化能夠解決這一問題。
2. 信息冗餘：對於某些定量特徵，其包含的有效信息爲區間劃分，例如學習成績，倘若只關心「及格」或不「及格」。
3. 存在缺失值：缺失值須要補充。

2.1 統一量綱

統一量綱須要把數據轉換成同一規格，常見的方法有標準化和區間縮放法。標準化的前提是特徵值服從正態分佈，標準化後，其轉換成標準正態分佈。區間縮放法利用了邊界值信息，將特徵的取值區間縮放到某個特色的範圍。

2.1.1 標準化

標準化須要計算特徵的均值和標準差，公式表達爲：

$$ x^{\prime}=\frac{x-\bar{X}}{S} $$

代碼以下：

from sklearn.preprocessing import StandardScaler
 
#標準化，返回值爲標準化後的數據
StandardScaler().fit_transform(iris.data)

2.1.2 區間縮放法

區間縮放法的思路是將全部值按照比例的方式呈現，縮放的方法有多種，常見的是利用兩個最值進行縮放，公式表達爲：

$$ x^{\prime}=\frac{x-M i n}{M a x-M i n} $$

代碼以下：

from sklearn.preprocessing import MinMaxScaler

#區間縮放，返回值爲縮放到[0, 1]區間的數據
MinMaxScaler().fit_transform(iris.data)

2.1.3 歸一化

簡單來講，標準化是依照特徵矩陣的列處理數據，其經過求z-score的方法，將樣本的特徵值轉換到同一量綱下。歸一化是依照特徵矩陣的行處理數據，其目的在於樣本向量在點乘運算或其餘核函數計算類似性時，擁有統一的標準，也就是說都轉化爲「單位向量」。規則爲l2的歸一化公式以下：

$$ x^{\prime}=\frac{x}{\sqrt{\sum_{j}^{m} x[j]^{2}}} $$

代碼以下：

from sklearn.preprocessing import Normalizer

#歸一化，返回值爲歸一化後的數據
Normalizer().fit_transform(iris.data)

2.2 二值化

二值化的核心在於設定一個閾值，大於閾值的賦值爲1，小於等於閾值的賦值爲0，公式表達以下：

$$ x=\left\{\begin{array}{ll}1 & x>\text { threshold} \\ 0 & x \leqslant t \text {hreshold}\end{array}\right. $$

代碼以下：

from sklearn.preprocessing import Binarizer

#二值化，閾值設置爲3，返回值爲二值化後的數據
Binarizer(threshold=3).fit_transform(iris.data)

2.3 缺省值計算

IRIS數據集沒有缺失值，可是實際過程缺是常常發生缺失數據的，常見的方法是利用相鄰數據補齊，或者是其餘方法。也能夠直接使用preproccessing庫的Imputer類對數據進行缺失值計算。

代碼以下：

from numpy import vstack, array, nan
from sklearn.impute  import SimpleImputer

#缺失值計算，返回值爲計算缺失值後的數據
#參數missing_value爲缺失值的表示形式，默認爲NaN
#參數strategy爲缺失值填充方式，默認爲mean（均值）
Imp=SimpleImputer().fit_transform(vstack((array([nan, nan, nan, nan]), iris.data)))

3 特徵選擇

當數據預處理完成後，咱們須要選擇有意義的特徵輸入機器學習的算法和模型進行訓練。一般來講，從兩個方面考慮來選擇特徵：

1. 特徵是否發散：若是一個特徵不發散，例如方差接近於0，也就是說樣本在這個特徵上基本上沒有差別，這個特徵對於樣本的區分並無什麼用。
2. 特徵與目標的相關性：這點比較顯見，與目標相關性高的特徵，應當優選選擇。除方差法外，本文介紹的其餘方法均從相關性考慮。

根據特徵選擇的形式又能夠將特徵選擇方法分爲3種過濾法（Filter）、包裝法（Wrapper）和嵌入法（Embedded）。

3.1 過濾法

過濾法，按照發散性或者相關性對各個特徵進行評分，設定閾值或者待選擇閾值的個數，選擇特徵。

3.1.1 方差選擇法

使用方差選擇法，先要計算各個特徵的方差，而後根據閾值，選擇方差大於閾值的特徵。使用feature_selection庫的VarianceThreshold類來選擇特徵的代碼以下：

from sklearn.feature_selection import VarianceThreshold

#方差選擇法，返回值爲特徵選擇後的數據
#參數threshold爲方差的閾值
VarianceThreshold(threshold=3).fit_transform(iris.data)

3.1.2 相關係數法

使用相關係數法，先要計算各個特徵對目標值的相關係數以及相關係數的P值。用feature_selection庫的SelectKBest類結合相關係數來選擇特徵的代碼以下：

from sklearn.feature_selection import SelectKBest
from scipy.stats import pearsonr

#選擇K個最好的特徵，返回選擇特徵後的數據
#第一個參數爲計算評估特徵是否好的函數，該函數輸入特徵矩陣和目標向量，輸出二元組（評分，P值）的數組，數組第i項爲第i個特徵的評分和P值。在此定義爲計算相關係數
#參數k爲選擇的特徵個數
Pea=SelectKBest(lambda X, Y: array(list(map(lambda x:pearsonr(x, Y), X.T))).T[0], k=2).fit_transform(iris.data, iris.target)

3.1.3 卡方檢驗

經典的卡方檢驗是檢驗定性自變量對定性因變量的相關性。假設自變量有N種取值，因變量有M種取值，考慮自變量等於i且因變量等於j的樣本頻數的觀察值與指望的差距，構建統計量：

$$ \chi^{2}=\sum \frac{(A-E)^{2}}{E} $$

代碼以下：

from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2

#選擇K個最好的特徵，返回選擇特徵後的數據
SelectKBest(chi2, k=2).fit_transform(iris.data, iris.target)

3.1.4 互信息法

經典的互信息也是評價定性自變量對定性因變量的相關性的，互信息計算公式以下：

$$ I(X ; Y)=\sum_{x \in X} \sum_{y \in Y} p(x, y) \log \frac{p(x, y)}{p(x) p(y)} $$

爲了處理定量數據，最大信息係數法被提出，使用feature_selection庫的SelectKBest類結合最大信息係數法來選擇特徵的代碼以下：

from sklearn.feature_selection import SelectKBest
from minepy import MINE
 
 #因爲MINE的設計不是函數式的，定義mic方法將其爲函數式的，返回一個二元組，二元組的第2項設置成固定的P值0.5
def mic(x, y):
    m = MINE()
    m.compute_score(x, y)
    return (m.mic(), 0.5)

#選擇K個最好的特徵，返回特徵選擇後的數據
MIN=SelectKBest(lambda X, Y: array(list(map(lambda x:mic(x, Y), X.T))).T[0], k=2).fit_transform(iris.data, iris.target)

3.2 包裝法

包裝法，根據目標函數（一般是預測效果評分），每次選擇若干特徵，或者排除若干特徵。

3.2.1 遞歸特徵消除法

遞歸消除特徵法使用一個基模型來進行多輪訓練，每輪訓練後，消除若干權值係數的特徵，再基於新的特徵集進行下一輪訓練。使用feature_selection庫的RFE類來選擇特徵的代碼以下：

from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression

#遞歸特徵消除法，返回特徵選擇後的數據
#參數estimator爲基模型
#參數n_features_to_select爲選擇的特徵個數
RFE(estimator=LogisticRegression(), n_features_to_select=2).fit_transform(iris.data, iris.target)

3.3 嵌入法

嵌入法，先使用某些機器學習的算法和模型進行訓練，獲得各個特徵的權值係數，根據係數從大到小選擇特徵。相似於Filter方法，可是是經過訓練來肯定特徵的優劣。

3.3.1 基於懲罰項的特徵選擇法

　　使用帶懲罰項的基模型，除了篩選出特徵外，同時也進行了降維。使用feature_selection庫的SelectFromModel類結合帶L1懲罰項的邏輯迴歸模型，來選擇特徵的代碼以下：

from sklearn.feature_selection import SelectFromModel
from sklearn.linear_model import LogisticRegression

#帶L1懲罰項的邏輯迴歸做爲基模型的特徵選擇
SelectFromModel(LogisticRegression(penalty="l1", C=0.1)).fit_transform(iris.data, iris.target)

3.3.2 基於樹模型的特徵選擇法

樹模型中GBDT也可用來做爲基模型進行特徵選擇，使用feature_selection庫的SelectFromModel類結合GBDT模型，來選擇特徵的代碼以下：

from sklearn.feature_selection import SelectFromModel
from sklearn.ensemble import GradientBoostingClassifier

#GBDT做爲基模型的特徵選擇
SelectFromModel(GradientBoostingClassifier()).fit_transform(iris.data, iris.target)

4 特徵降維

當特徵選擇完成後，能夠直接訓練模型了，可是可能因爲特徵矩陣過大，致使計算量大，訓練時間長的問題，所以下降特徵矩陣維度也是必不可少的。常見的降維方法除了以上提到的基於L1懲罰項的模型之外，另外還有主成分分析法（PCA）和線性判別分析（LDA），線性判別分析自己也是一個分類模型。若是想深刻了解能夠學習MO平臺整理的李宏毅老師的課程

4.1 主成分分析法（PCA）

　　使用decomposition庫的PCA類選擇特徵的代碼以下：

from sklearn.decomposition import PCA

#主成分分析法，返回降維後的數據
#參數n_components爲主成分數目
PCA(n_components=2).fit_transform(iris.data)

4.2 線性判別分析法（LDA）

　　使用lda庫的LDA類選擇特徵的代碼以下：

from sklearn.discriminant_analysis import LinearDiscriminantAnalysis as LDA

#線性判別分析法，返回降維後的數據
#參數n_components爲降維後的維數
Lda=LDA(n_components=2).fit_transform(iris.data, iris.target)

項目源碼地址：https://momodel.cn/workspace/5e99e4c74be1cf87a370a0f0?type=app

5. 參考資料

• IRIS數據集說明：IRIS數據集
• 博客：sklearn作單機特徵工程

關於咱們

Mo（網址：https://momodel.cn） 是一個支持 Python的人工智能在線建模平臺，能幫助你快速開發、訓練並部署模型。

近期 Mo 也在持續進行機器學習相關的入門課程和論文分享活動，歡迎你們關注咱們的公衆號獲取最新資訊！