Python數據科學（六） 資料清理(Ⅰ)

傳送門：

• Python數據科學（一）- python與數據科學應用(Ⅰ)
• Python數據科學（二）- python與數據科學應用(Ⅱ)
• Python數據科學（三）- python與數據科學應用(Ⅲ)
• Python數據科學（四）- 數據收集系列
• Python數據科學（五）- 數據處理和數據採集
• Python數據科學（六）- 資料清理(Ⅰ)
• Python數據科學（七）- 資料清理(Ⅱ)

成功爬取到咱們所須要的數據之後，接下來應該作的是對資料進行清理和轉換， 不少人遇到這種狀況最天然地反應就是「寫個腳本」，固然這也算是一個很好的解決方法，可是，python中還有一些第三方庫，像Numpy,Pandas等，不只能夠快速簡單地清理數據，還可讓非編程的人員輕鬆地看見和使用你的數據。接下來就讓咱們一塊兒學習使用Pandas!

1.Pandas

什麼是Pandas? 百度百科：Python Data Analysis Library 或 pandas 是基於NumPy 的一種工具，該工具是爲了解決數據分析任務而建立的。Pandas 歸入了大量庫和一些標準的數據模型，提供了高效地操做大型數據集所需的工具。pandas提供了大量能使咱們快速便捷地處理數據的函數和方法。你很快就會發現，它是使Python成爲強大而高效的數據分析環境的重要因素之一。

如下咱們主要經過一些範例進行學習。

1.資料篩選

#存儲元素與切割
import pandas as pd
df = pd.DataFrame(info)
df.ix[1]
複製代碼

# 查看特定的列
df[['name', 'age']]
複製代碼

# 查看特定列的特定內容
df.ix[1:2, ['name', 'age'] ]
複製代碼

• 使用 & 取條件交集

df[(df['gender'] == 'M')&(df['age'] >= 30)]
複製代碼

• 使用 | 取條件集合

df[(df['gender'] == 'M')|(df['age'] >= 30)]
複製代碼

• 新增/刪除欄位

  

# 新增欄位
df['employee'] = True

# 刪除欄位
del df['employee']    OR   df = df.drop('employee', 1)

# 新增第六列
df.loc[6] = {'age':20, 'gender':'F', 'name':'qoo'}
OR
df.append(pd.DataFrame([{'age':20, 'gender':'F', 'name':'qoo'}]), ignore_index=True)

# 刪除第六列
df = df.drop(6)
複製代碼

• 設定新的索引

# 新增的欄位
df['userid'] = range(101, 107) 

# 設置新的索引
df. set_index('userid', inplace=True)
複製代碼

• 根據位置取值

# iloc能夠根據位置取值
df.iloc[1]
複製代碼

# 查看1,3,5 列的數據
df.iloc[[1,3,5]]
複製代碼

• 根據索引取值

# 使用ix取值,經過行號索引 
df.ix[[101,103,105]]

# 使用loc取值，即便用標籤索引行數據
df.loc[[101,103,105]]
複製代碼

2.偵測遺失值

• 缺失值是指數據中有特定或者一個範圍的值是不徹底的
• 缺失值可能會致使數據分析時產生偏誤的推論
• 缺失值可能來自機械的缺失或者人爲的缺失
  • 機械缺失 例： 機械故障，致使數據沒法被完整保存
  • 人爲缺失 例：受訪者拒絕透露部分信息

import pandas as pd
import numpy as np
df = pd.DataFrame([\
                  ['frank', 'M', np.nan],\
                  ['mary', np.nan, np.nan],\
                  ['tom', 'M', 35],\
                  ['ted', 'M', 33],\
                  ['jean', np.nan, 21],\
                  ['lisa', 'F', 20]]
)
df. columns = ['name', 'gender', 'age']
df 
複製代碼

• 檢查序列是否有缺失值

# 檢查非缺失值數據
df['gender'].notnull()

# 檢查缺失值資料
df['gender'].isnull()
複製代碼

• 檢查字段是否含有缺失值

# 檢查字段是否含有缺失值
df['age'].isnull().values.any()

# 檢查DataFrame 是否還有缺失值 返回True/False
df.isnull().values.any()
複製代碼

• 計算缺失值的數量

# 檢查某個字段缺失值的數量
df['age'].isnull().sum()

# 檢查字段缺失值的數量
df.isnull().sum()

# 計算全部缺失值的數量
df.isnull().sum().sum()
複製代碼

3.補齊遺失值

處理缺失值常規的有如下幾種方法

• 捨棄缺失值
  • 這種狀況適用於當缺失值佔數據比例很低時
• 使用平均數、中位數、衆數等敘述性統計補齊缺失值
• 使用內插法補齊缺失值
  • 若是字段數據成線性規律

1.捨棄缺失值

• 捨棄含有任意缺失值的行

df.dropna()
複製代碼

• 捨棄全部字段都含有缺失值的行

df.dropna(how='all')
複製代碼

• 捨棄超過兩欄缺失值的行

df.dropna(thresh=2)
複製代碼

2.捨棄含有缺失值的列

• 增長一包含缺失值的列

df['employee'] = np.nan
複製代碼

• 捨棄皆爲缺失值的列

df.dropna(axis=1, how = 'all')
複製代碼

• 使用0值表示沿着每一列或行標籤\索引值向下執行方法
• 使用1值表示沿着每一行或者列標籤模向執行對應的方法

下圖表明在DataFrame當中axis爲0和1時分別表明的含義(axis參數做用方向圖示):

3.填補缺失值

• 用0填補缺失值

df.fillna(0)
複製代碼

• 用平均數缺失值 df['age'].mean()是age這個字段平均值

df['age'].fillna(df['age'].mean())  
複製代碼

• 用各性別年齡平均填缺失值

df['age'].fillna(df.groupby('gender')['age'].transform('mean'), inplace = True)
複製代碼

4.向前/向後填值

• 向後填補缺失值

df.fillna(method='pad')
複製代碼

• 向前填補缺失值

df.fillna(method='bfill', limit=2)
複製代碼

• pad/ffill：日後填值
• bfill/backfill：往前填值

注意：這裏的往前日後是指的從上往下

5.使用內插法填補缺失值

df2 = pd.DataFrame([[1,870],\
                   [2,900],\
                   [np.nan,np.nan],\
                   [4,950],\
                   [5,1080],\
                   [6,1200]])
df2.columns = ['time', 'val']
df2.interpolate()
複製代碼

6.總結

上一階段咱們已經爬取了房天下的二手房信息，這裏對咱們抓取到的二手房信息進行處理

# 把暫無資料替換成物業費
df[df['物業費'] == ‘暫無資料’， ‘物業費’] = np.nan

# 在打開文件的時候，直接把暫無資料替換成缺失值
df = pandas.read_csv('data/house_data.csv', na_values = '暫無資料'， index_col = 0)

# 檢視前三行數據
df.head(3)

# 檢視後三行資料
df.tail(3)
複製代碼

• 檢視DataFrame信息

df.info()
複製代碼

• 檢視字段名稱

df.columns
複製代碼

• 檢視字段型態

df.dtypes
複製代碼

• 取得敘述性統計

df.describe()
複製代碼

• 判斷欄位是否有缺失值的存在

df.isnull().any()
複製代碼

• 統計欄位缺失值的數量

df.isnull().sum()
複製代碼

• 捨棄參考月供這一列

df = df.drop('參考月供', axis = 1)
複製代碼

• 篩選字段,篩選出產權性質中各類產權所佔的數量

df['產權性質'].value_counts()
複製代碼

• 篩選出建築面積大於100且總價大於2000萬的房產信息 注意：ix[ ,]中,前是條件，,是欄位

df.ix[(df['建築面積'] > 100) & (df['總價'] > 2000), ].head(1)
複製代碼

• 篩選出產權性質爲我的產權的房產信息

df = df[df['產權性質'] == ‘我的產權’]
複製代碼

• 對總價中缺失值進行合理的補全

df['總價'] = df['總價'].fillna(df['建築面積'] * (df['總價'] / df['建築面積']).mean())
複製代碼

• 將數據寫入CSV中

df.to_csv('house_final.csv', index_label = False)
複製代碼