數據分析第四篇：數據清洗

須要清洗的數據有下面幾種形式

 

2.1錯誤值

出現大量0的話，能夠使用缺失值替代，而後再用缺失值填補的方法處理

camp['AvgIncome']=camp['AvgIncome'].replace({0: np.NaN})

 

2.2 缺失值

 

vmean = camp['Age'].mean(axis=0, skipna=True)

camp['Age_empflag'] = camp['Age'].isnull()

camp['Age']= camp['Age'].fillna(vmean)

camp['Age'].describe()

 

2.3 重複

去掉重複值

 

2.4 數據不一致

- 時間單位不一樣能夠使用正則使其一致化

- 金額單位不一樣須要一致化

 

2.5 離羣值（異常值）

1.刪除異常值（5倍標準差以外的數據）

2.蓋帽法處理異常值，把1%的異常值用99%處的值代替

def blk(floor, root): # 'blk' will return a function

    def f(x):       

        if x < floor:

            x = floor

        elif x > root:

            x = root

        return x

    return f

 

q1 = camp['Age'].quantile(0.01) # 計算百分位數

q99 = camp['Age'].quantile(0.99)

blk_tot = blk(floor=q1, root=q99) # 'blk_tot' is a function

camp['Age']= camp['Age'].map(blk_tot)

camp['Age'].describe()

 

3.分箱法處理異常值

camp['Age_group1'] = pd.qcut( camp['Age'], 4) # 這裏以age_oldest_tr字段等寬分爲4段

camp.Age_group1.head()