多分類機器學習中數據不平衡的處理（NSL-KDD 數據集+lightgbm )
前言
數據不平衡問題在機器學習分類問題中很常見，尤爲是涉及到「異常檢測"類型的分類。由於異常通常指的相對不常見的現象，所以發生的機率必然要小不少。所以正常類的樣本量會遠遠高於異常類的樣本量，通常高達幾個數量級。 好比： 疾病相關的樣本，正常的樣本會遠高於疾病的樣本，即使是當下流行的COVID-19。好比kaggle 競賽的信用卡交易欺詐（credit card fraud），正常交易與欺詐類交易比例大於10000：1。 再好比工業中常見的故障診斷數據，正常運行的時間段會遠遠高於停機（故障）時間。html
開題
首先咱們提出一個問題： 爲何數據不平衡會對機器模型產生影響？ 緣由很直觀，由於訓練集中的數據若是不平衡，「機器」 會集中解決大多數的數據的問題，而會忽視了少數類的數據。就像少數民族會不佔優點。既然是基於大樣本訓練的機器模型，沒法避免地被主要樣本帶偏。git
關鍵問題來了： 那咱們如何讓少數類得到同等的地位，而後被模型同等對待呢？ 今天咱們能夠經過一個實戰樣原本看看有哪些技巧能下降數據不平衡帶來的影響。github
數據源準備
數據源是NSL-KDD 數據包。數據源來自： www.unb.ca/cic/dataset… 簡單介紹一下數據源，NSL-KDD是爲解決在中KDD'99數據集的某些固有問題而推薦的數據集。儘管該數據集可能沒法完美地表明現有的現實網絡世界，可是不少論文依然能夠用它做有效的基準數據集，以幫助研究人員比較不一樣的入侵檢測方法。shell
本文數據集來源於github的整理半成品。github.com/arjbah/nsl-… (include the most attack types) 和https://github.com/defcom17/NSL_KDD.git。 數據集比較分散，train_file 和test_file 只包含樣本特徵和標籤值，可是沒有表頭（header），表頭的信息包含在field_name_file 中，另外關於網絡攻擊類型，分爲5個大類，40多個小類，可是咱們該測試中只預測5個大類。 數據源略點凌亂，因此咱們須要在代碼中稍做歸類。 代碼入場：windows
# import packages
import pandas as pd
""" DATASET SOURCE is from https://github.com/arjbah/nsl-kdd.git (include the most attack types) https://github.com/defcom17/NSL_KDD.git """
train_file = 'https://raw.githubusercontent.com/arjbah/nsl-kdd/master/nsl-kdd/KDDTrain%2B.txt'
test_file = 'https://raw.githubusercontent.com/arjbah/nsl-kdd/master/nsl-kdd/KDDTest%2B.txt'
field_name_file = 'https://raw.githubusercontent.com/defcom17/NSL_KDD/master/Field%20Names.csv'
attack_type_file = 'https://raw.githubusercontent.com/arjbah/nsl-kdd/master/training_attack_types.txt'
複製代碼
這裏就是常規的pandas 讀csv 或txt 操做，僅僅注意一下列表頭/列名稱的處理。promise
field_names_df = pd.read_csv(
field_name_file, header=None, names=[
'name', 'data_type']) # 定義dataframe ，並給個column name，方便索引
field_names = field_names_df['name'].tolist()
field_names += ['label', 'label_code'] # 源文件中沒有標籤名稱，以及等級信息
df = pd.read_csv(train_file, header=None, names=field_names)
df_test = pd.read_csv(test_file, header=None, names=field_names)
attack_type_df = pd.read_csv(
attack_type_file, sep=' ', header=None, names=[
'name', 'attack_type'])
attack_type_dict = dict(
zip(attack_type_df['name'].tolist(), attack_type_df['attack_type'].tolist())) # 定義5大類和小類的映射字典，方便替代
df.drop('label_code', axis=1, inplace=True) # 最後一列 既沒法做爲feature，也不是咱們的label，刪掉
df_test.drop('label_code', axis=1, inplace=True)
df['label'].replace(attack_type_dict, inplace=True) # 替換label 爲5 大類
df_test['label'].replace(attack_type_dict, inplace=True)
複製代碼
數據一覽（不平衡分佈）
數據已經準備好，咱們能夠初步瀏覽一下數據結構。bash
print(df.info())
複製代碼
結果以下：網絡
Data columns (total 42 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 duration 125973 non-null int64
1 protocol_type 125973 non-null object
2 service 125973 non-null object
3 flag 125973 non-null object
4 src_bytes 125973 non-null int64
5 dst_bytes 125973 non-null int64
6 land 125973 non-null int64
7 wrong_fragment 125973 non-null int64
8 urgent 125973 non-null int64
9 hot 125973 non-null int64
10 num_failed_logins 125973 non-null int64
11 logged_in 125973 non-null int64
12 num_compromised 125973 non-null int64
13 root_shell 125973 non-null int64
14 su_attempted 125973 non-null int64
15 num_root 125973 non-null int64
16 num_file_creations 125973 non-null int64
17 num_shells 125973 non-null int64
18 num_access_files 125973 non-null int64
19 num_outbound_cmds 125973 non-null int64
20 is_host_login 125973 non-null int64
21 is_guest_login 125973 non-null int64
22 count 125973 non-null int64
23 srv_count 125973 non-null int64
24 serror_rate 125973 non-null float64
25 srv_serror_rate 125973 non-null float64
26 rerror_rate 125973 non-null float64
27 srv_rerror_rate 125973 non-null float64
28 same_srv_rate 125973 non-null float64
29 diff_srv_rate 125973 non-null float64
30 srv_diff_host_rate 125973 non-null float64
31 dst_host_count 125973 non-null int64
32 dst_host_srv_count 125973 non-null int64
33 dst_host_same_srv_rate 125973 non-null float64
34 dst_host_diff_srv_rate 125973 non-null float64
35 dst_host_same_src_port_rate 125973 non-null float64
36 dst_host_srv_diff_host_rate 125973 non-null float64
37 dst_host_serror_rate 125973 non-null float64
38 dst_host_srv_serror_rate 125973 non-null float64
39 dst_host_rerror_rate 125973 non-null float64
40 dst_host_srv_rerror_rate 125973 non-null float64
41 label 125973 non-null object
dtypes: float64(15), int64(23), object(4)
複製代碼
首先咱們來看label的分佈：數據結構
from collections import Counter
# 簡單定義一個print 函數
def print_label_dist(label_col):
c = Counter(label_col)
print(f'label is {c}')
print_label_dist(df['label'])
print_label_dist(df_test['label'])
複製代碼
能夠看到分佈爲：機器學習
label is Counter({'normal': 67343, 'dos': 45927, 'probe': 11656, 'r2l': 995, 'u2r': 52})
label is Counter({'normal': 9711, 'dos': 7636, 'r2l': 2574, 'probe': 2423, 'u2r': 200})
複製代碼
爲了更直觀的對比，咱們能夠看一下countplot 的結果。
import seaborn as sns
train_label= df[['label']]
train_label['type'] = 'train'
test_label= df_test[['label']]
test_label['type'] = 'test'
label_all = pd.concat([train_label,test_label],axis=0)
print(label_all)
print(test_label)
sns.countplot(x='label',hue='type', data=label_all)
複製代碼
「硬train一」發做爲baseline
okay，首先咱們來「硬train一發」。 最後一列爲標籤，也就是咱們要分類的對象，會被分離出特徵矩陣。
Y = df['label']
Y_test = df_test['label']
X = df.drop('label', axis=1)
X_test = df_test.drop('label', axis=1)
複製代碼
對於決策樹類型的機器學習模型，單個特徵的單調變化不會對最終結果產生影響，由於咱們無需log或者歸一化處理。
本文咱們不進行過多的特徵工程，由於咱們這次實驗中不會對特徵進行EDA分析。 咱們只進行最基本的預處理，有三個feature爲object 類型，也就是離散數據，這個須要咱們預處理，咱們會採用one-hot 進行處理。爲了方便，咱們寫兩個小函數，方便重複調用。
# 分離離散變量
def split_category(data, columns):
cat_data = data[columns]
rest_data = data.drop(columns, axis=1)
return rest_data, cat_data
# 轉全部離散變量爲one-hot
def one_hot_cat(data):
if isinstance(data, pd.Series):
data = pd.DataFrame(data, columns=[data.name])
out = pd.DataFrame([])
for col in data.columns:
one_hot_cols = pd.get_dummies(data[col], prefix=col)
out = pd.concat([out, one_hot_cols], axis=1)
out.set_index(data.index)
return out
複製代碼
# categorical_columns
categorical_mask = (X.dtypes == object)
categorical_columns = X.columns[categorical_mask].tolist()
X, X_cat = split_category(X, categorical_columns)
X_test, X_test_cat = split_category(X_test, categorical_columns)
# convert to one-hot
X_cat_one_hot_cols = one_hot_cat(X_cat)
X_test_cat_one_hot_cols = one_hot_cat(X_test_cat)
# align train to test
X_cat_one_hot_cols, X_test_cat_one_hot_cols = X_cat_one_hot_cols.align(
X_test_cat_one_hot_cols, join='inner', axis=1)
X_cat_one_hot_cols.fillna(0, inplace=True)
X_test_cat_one_hot_cols.fillna(0, inplace=True)
X = pd.concat([X, X_cat_one_hot_cols], axis=1)
X_test = pd.concat([X_test, X_test_cat_one_hot_cols],
axis=1)
print(f'add one-hot features')
複製代碼
print(f'x shape is {X.shape}')
複製代碼
x shape is (125973, 116)
複製代碼
準備lightgbm 模型.
import lightgbm as lgb
from sklearn.preprocessing import LabelEncoder
from sklearn.metrics import confusion_matrix,classification_report,accuracy_score,roc_auc_score,f1_score
feature_name = list(X.columns) # 特徵名稱後續會用到
Y_encode = LabelEncoder().fit_transform(Y)
Y_test_encode = LabelEncoder().fit_transform(Y_test)
dtrain = lgb.Dataset(X.values, label=Y_encode)
dtest = lgb.Dataset(X_test.values, label=Y_test_encode)
param = {
'eta': 0.1,
'objective': 'multiclass',
'num_class': 5,
'verbose': 0,
'metric':'multi_error'
} # 參數幾乎都是默認值，僅僅修改一些多分類必須的參數
evals_result = {}
valid_sets = [dtrain, dtest]
valid_name = ['train', 'eval']
model = lgb.train(param, dtrain, num_boost_round=500, feature_name=feature_name,
valid_sets=valid_sets, valid_names=valid_name, evals_result=evals_result)
y_pred_1 = model.predict(X_test.values)
y_pred = pd.DataFrame(y_pred_1).idxmax(axis=1) #預測機率值轉爲預測標籤
#
# 咱們用了多種metric 來衡量結果，其中有些是明顯不適合的，好比accuracy，由於它會被不平衡的數據分佈帶到陰溝裏（誤導）。
print(f'auc score is {accuracy_score(Y_test_encode, y_pred)}')
print(confusion_matrix(Y_test_encode, y_pred))
print(classification_report(Y_test_encode, y_pred, digits=3))
auc = roc_auc_score(Y_test_encode, y_pred_1, multi_class="ovo", average="macro") # 選用macro 很重要。參考sklearn。
#Calculate metrics for each label, and find their unweighted mean. #This does not take label imbalance into account.
print(f'roc_auc_score is {auc}')
f1 = f1_score(y_pred, Y_test_encode, average='macro')
print(f'f1_score is {f1}')
複製代碼
硬train的結果以下： acc 指標已經提到，會有誤導性，這裏列出就是爲了參考。 report中3 和4 precision 和recall 較低，這也很正常，由於數據不平衡嘛。
acc score is 0.6652767920511
precision recall f1-score support
0 0.840 0.645 0.730 7636
1 0.619 0.899 0.734 9711
2 0.570 0.547 0.558 2423
3 0.312 0.002 0.004 2574
4 0.026 0.030 0.028 200
accuracy 0.665 22544
macro avg 0.473 0.425 0.411 22544
roc_auc_score is 0.6405673646606284
f1_score is 0.41066470104083724
複製代碼
咱們稍做改善
改進的方向，我認爲會有一下幾個方面：
- 採用更多的數據集，很顯然臣妾作不到
- 換其餘的模型，好比異常診斷（半監督或者無監督），不在咱們討論範圍
- 當心謹慎的特徵工程，須要必定的先驗知識
- 調參。
- 重採樣
- 其餘
咱們在此也硬「tune」一發，看當前的模型是否能夠調整參數，進行必定程度改善。至於特徵工程，若是是做爲一個項目，仍是能夠深究，本文不涉及。
咱們分析一下模型訓練的歷史曲線。
重採樣
咱們對模型加上重採樣，重採樣的思路很簡單，就是從新採樣讓不一樣類別的樣本量趨於平等。升採樣和降採樣，也是最經常使用的方法。對於本案例的數據，若是咱們採用降採樣，會損失太多的信息。並且可控（樣本量）的降採樣，通常也就是隨機降採樣，對於隨機的結果沒法有太多的說服力。不可控的降採樣，最終會致使樣本量接近於最小類別的樣本量，也就是本案例中的20多。這樣會大大丟失樣本信息。
所以本文中採用升採樣的方法，常見的升採樣有多種。咱們採用的imbalanced-learn （imbalanced-learn.readthedocs.io/en/stable/ ）的包，裏面包含多種升採樣方法，網上彷佛一提 升採樣，就是SMOTE。本文中採用的ADASYN（對本案例來講，效果更好，各位能夠自行對比）。
# 代碼須要放置在one-hot 以前
from imblearn.over_sampling import SMOTE, ADASYN
from sklearn.preprocessing import LabelEncoder
def label_encoder(data):
labelencoder = LabelEncoder()
for col in data.columns:
data.loc[:,col] = labelencoder.fit_transform(data[col])
return data
# first label_encoder to allow resampling
X[categorical_columns] = label_encoder(X[categorical_columns])
X_test[categorical_columns] = label_encoder(X_test[categorical_columns])
oversample = ADASYN()
X, Y = oversample.fit_resample(X, Y)
# 以後的代碼爲
#X, X_cat = split_category(X, categorical_columns)
#X_test, X_test_cat = split_category(X_test, categorical_columns)
複製代碼
先不進行lightbgm調參，咱們看一下結果：
acc score is 0.7869943222143364
[[6258 1126 251 1 0]
[ 61 9364 276 6 4]
[ 164 403 1856 0 0]
[ 0 2299 21 246 8]
[ 0 152 22 8 18]]
precision recall f1-score support
0 0.965 0.820 0.886 7636
1 0.702 0.964 0.812 9711
2 0.765 0.766 0.766 2423
3 0.943 0.096 0.174 2574
4 0.600 0.090 0.157 200
accuracy 0.787 22544
macro avg 0.795 0.547 0.559 22544
weighted avg 0.824 0.787 0.754 22544
roc_auc_score is 0.9097110919608917
f1_score is 0.5588737585068755
複製代碼
各項指標都有提高，一樣的回顧一下咱們的訓練曲線。尾巴依然光滑，說明不算欠擬合。 train 和test 的間距有些大，可能有過擬合之嫌。
acc score is 0.7916962384669979
[[6277 1163 196 0 0]
[ 90 9319 248 25 29]
[ 166 356 1901 0 0]
[ 4 2174 45 329 22]
[ 0 104 54 20 22]]
precision recall f1-score support
0 0.960 0.822 0.886 7636
1 0.711 0.960 0.816 9711
2 0.778 0.785 0.781 2423
3 0.880 0.128 0.223 2574
4 0.301 0.110 0.161 200
accuracy 0.792 22544
macro avg 0.726 0.561 0.574 22544
weighted avg 0.818 0.792 0.763 22544
roc_auc_score is 0.8931058881203062
f1_score is 0.5735623327532393
複製代碼
結果略有變化，好像更側重於f1_score的分數。
偏向少數類
對於不平衡的數據，若是有須要，咱們還能夠經過分配權重，來讓模型偏向少數類。經過這樣的方法，咱們又能夠必定程度的平衡模型。lightgbm 支持樣本權重，咱們能夠調整權重來從新訓練。 上代碼：
class_w = {
'normal': 0.1, # 0.1
'dos': 0.6,
'probe': 0.6,
'r2l': 2,
'u2r': 1.2} #以上數據須要微調，調整通常從normal開始，由於它的權重大
from sklearn.utils.class_weight import compute_sample_weight
sample_w = compute_sample_weight(class_weight=class_w, y=Y)
##!!而後傳入該權重到數據集中
dtrain = lgb.Dataset(X.values, label=Y_encode,weight=sample_w)
複製代碼
訓練結果與效果：
acc score is 0.828069552874379
[[6448 684 366 63 75]
[ 142 8551 271 434 313]
[ 203 3 2185 12 20]
[ 10 895 28 1442 199]
[ 0 5 109 44 42]]
precision recall f1-score support
0 0.948 0.844 0.893 7636
1 0.843 0.881 0.862 9711
2 0.738 0.902 0.812 2423
3 0.723 0.560 0.631 2574
4 0.065 0.210 0.099 200
accuracy 0.828 22544
macro avg 0.663 0.679 0.659 22544
weighted avg 0.847 0.828 0.834 22544
roc_auc_score is 0.8996899325820623
f1_score is 0.6593715668480359
複製代碼
能夠看到f1-score 有了很大的提高，固然你能夠繼續調整該class_w 去讓你的模型有所側重。multi_error 也下降了。
總結
對於不平衡的數據集，從新採樣和調整權重會對結果產生影響。固然其餘的超參能夠gridsearch 來優化，本文不作研究。 推薦https://imbalanced-learn.readthedocs.io/en/stable/ 來深刻了解不一樣採樣的影響。
後記
附上windows 中lightgbm 樹圖的plot以及特徵重要性的plot代碼。
import os
graphviz_path = r'C:\Program Files (x86)\Graphviz2.38\bin'
os.environ["PATH"] += os.pathsep + graphviz_path
lgb.plot_tree(model, tree_index=0)
lgb.plot_importance(model)
複製代碼
相關文章
- 1. 機器學習中不平衡數據的處理方式
- 2. 機器學習中如何處理不平衡數據
- 3. 機器學習中如何處理不平衡數據（imbalanced data）？
- 4. 數據集分類不平衡的影響與處理
- 5. 處理數據不平衡
- 6. 不平衡數據處理
- 7. 數據不平衡處理
- 8. 機器學習中對不均衡數據的處理方法
- 9. 不平衡數據分類
- 10. 機器學習過程中數據不平衡問題的處理方法
- 更多相關文章...
- • TiDB數據庫的管理機制 - NoSQL教程
- • C# 數據類型 - C#教程
- • Flink 數據傳輸及反壓詳解
- • TiDB 在摩拜單車在線數據業務的應用和實踐
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
最新文章
- 1. 在windows下的虛擬機中,安裝華爲電腦的deepin操作系統
- 2. 強烈推薦款下載不限速解析神器
- 3. 【區塊鏈技術】孫宇晨：區塊鏈技術帶來金融服務的信任變革
- 4. 搜索引起的鏈接分析-計算網頁的重要性
- 5. TiDB x 微衆銀行 | 耗時降低 58%，分佈式架構助力實現普惠金融
- 6. 《數字孿生體技術白皮書》重磅發佈（附完整版下載）
- 7. 雙十一「避坑」指南：區塊鏈電子合同爲電商交易保駕護航！
- 8. 區塊鏈產業，怎樣「鏈」住未來？
- 9. OpenglRipper使用教程
- 10. springcloud請求一次好用一次不好用zuul Name or service not known
歡迎關注本站公眾號,獲取更多信息
相關文章
- 1. 機器學習中不平衡數據的處理方式
- 2. 機器學習中如何處理不平衡數據
- 3. 機器學習中如何處理不平衡數據（imbalanced data）？
- 4. 數據集分類不平衡的影響與處理
- 5. 處理數據不平衡
- 6. 不平衡數據處理
- 7. 數據不平衡處理
- 8. 機器學習中對不均衡數據的處理方法
- 9. 不平衡數據分類
- 10. 機器學習過程中數據不平衡問題的處理方法