amazon access代碼分析和記錄

這是一個kaggle項目的冠軍代碼
看起來仍是比較麻煩，這裏記錄一下這個冠軍代碼的一些處理方法
這部分使用了集成學習的方法
主要使用了LR、RF、GB這三種學習方法
每一種學習方法大概使用了四五次，也就是對數據集也進行了各類處理

"LR:tuples_sf",
"LR:greedy_sfl",
"LR:greedy2_sfl",
"LR:greedy3_sf",
"RFC:basic_b",
"RFC:tuples_f",
"RFC:tuples_fd",
"RFC:greedy_f",
"RFC:greedy2_f",
"GBC:basic_f",
"GBC:tuples_f",
"LR:greedy_sbl",
"GBC:greedy_c",
"GBC:tuples_cf"
上面左邊是算法名字，右邊的是數據集代號

左邊的分類方法比較好理解，不過右邊的很差理解
這裏記錄一下右邊是如何處理數據的

數據的狀況：
共有十列：
      ACTION                      是否有權限
      RESOURCE                    資源id
      MGR_ID                      經理id
      ROLE_ROLLUP_1               
      ROLE_ROLLUP_2
      ROLE_DEPTNAME
      ROLE_TITLE
      ROLE_FAMILY_DESC
      ROLE_FAMILY
      ROLE_CODE
bsfeats:
   去掉ROLE_CODE和ACTION這兩列
   X_all['ROLE_TITLE'] = X_all['ROLE_TITLE'] + (1000 * X_all['ROLE_FAMILY'])
   X_all['ROLE_ROLLUPS'] = X_all['ROLE_ROLLUP_1'] + (10000 * X_all['ROLE_ROLLUP_2'])
   X_all = X_all.drop(['ROLE_ROLLUP_1', 'ROLE_ROLLUP_2', 'ROLE_FAMILY'],axis=1)
   到如今就剩下六列：
       RESOURCE,MGR_ID,ROLE_DEPTNAME,ROLE_TITLE,ROLE_FAMILY_DESC,ROLE_ROLLUPS
   對每一列添加cnt列：
       此步驟是爲了對前六列作處理，生成新的六列，過程以下
          對每列進行分組，而後把組數的log值填充到相應的位置
   再添加Duse列：
       仍是先按列各自進行分組，而後再按照resource分組
       用每組RESOURCE的個數除以總個數
   添加mdept列：
       主要是添加相同經理的個數，按照經理先對數據進行分組
       填充該經理組中資源的種類數
   處理完後把前六列的數據刪除
greedy:
   這個處理過程就比較重量級了，因爲數據都是類別型的，因此都使用了編碼
   首先把特徵中的ACTION和ROLE_CODE兩個特徵去掉
   而後讓剩下的特徵兩兩組合
   這樣就生成了不少新的特徵，每一列的值用組合數據的hash值填充
   下一步要給全部的特徵作onehot編碼
   而後要選取比較好的feature選擇過程是使用auc的得分來算
       使用n-cv的方式，對選取的特徵使用logisticReg的方法來判斷auc計算得分
       最終獲取得分高的幾個特徵
       基本思想就是這樣