像Excel同樣使用python進行數據分析（1）

（雖然是轉載，可是是我每塊都測試過得，容易出問題的地方我會添加一些本身的經驗，僅供參考）

像Excel同樣使用python進行數據分析（2）

像Excel同樣使用python進行數據分析（3）

摘要：本篇文章經過python與excel的功能對比介紹如何使用python經過函數式編程完成excel中的數據處理及分析工做。

Excel是數據分析中最經常使用的工具，本篇文章經過python與excel的功能對比介紹如何使用python經過函數式編程完成excel中的數據處理及分析工做。在Python中pandas庫用於數據處理 ，咱們從1787頁的pandas官網文檔中總結出最經常使用的36個函數，經過這些函數介紹如何經過python完成數據生成和導入，數據清洗，預處理，以及最多見的數據分類，數據篩選，分類 彙總，透視等最多見的操做。

文章內容共分爲9個部分。這是第一篇，介紹前3部份內容，數據表生成，數據表查看，和數據清洗。

 

1， 生成數據表

第一部分是生成數據表，常見的生成方法有兩種，第一種是導入外部數據，第二種是直接寫入數據。 Excel中的文件菜單中提供了獲取外部數據的功能，支持數據庫和文本文件和頁面的多種數據源導入。
python支持從多種類型的數據導入。在開始使用python進行數據導入前須要先導入pandas庫，爲了方便起見，咱們也同時導入numpy庫。

import numpy as np import pandas as pd

導入數據表

下面分別是從excel和csv格式文件導入數據並建立數據表的方法。代碼是最簡模式，裏面有不少可選參數設置，例如列名稱，索引列，數據格式等等。感興趣的朋友能夠參考pandas的
官方文檔。

#這裏注意：read_csv的時候常常會出現編碼錯誤，此時一、須要修改文件路徑中的\ 爲 / 二、用notepad將文件的格式修改成utf-8
df=pd.DataFrame(pd.read_csv('name.csv',header=1)) df=pd.DataFrame(pd.read_excel('name.xlsx'))

建立數據表

另外一種方法是經過直接寫入數據來生成數據表，excel中直接在單元格中輸入數據就能夠，python中經過下面的代碼來實現。生成數據表的函數是pandas庫中的DateFrame函數，數據表一共有6行數據，每行有6個字段。在數據中咱們特地設置了一些NA值和有問題的字段，例如包含空格等。後面將在數據清洗步驟進行處理。後面咱們將統一以DataFrame的簡稱df來命名數據表。

df = pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006], "date":pd.date_range('20130102', periods=6), "city":['Beijing ', 'SH', ' guangzhou ', 'Shenzhen', 'shanghai', 'BEIJING '], "age":[23,44,54,32,34,32], "category":['100-A','100-B','110-A','110-C','210-A','130-F'], "price":[1200,np.nan,2133,5433,np.nan,4432]}, columns =['id','date','city','category','age','price'])

這是剛剛建立的數據表，咱們沒有設置索引列，price字段中包含有NA值，city字段中還包含了一些髒數據。

2，數據表檢查

第二部分是對數據表進行檢查，python中處理的數據量一般會比較大，好比咱們以前的文章中介紹的紐約出租車數據和Citibike的騎行數據，數據量都在千萬級，咱們沒法一目瞭然的 瞭解數據表的總體狀況，必需要經過一些方法來得到數據表的關鍵信息。數據表檢查的另外一個目的是瞭解數據的概況，例如整個數據表的大小，所佔空間，數據格式，是否有空值和重複項和具體的數據內容。爲後面的清洗和預處理作好準備。

 

數據維度(行列)

Excel中能夠經過CTRL+向下的光標鍵，和CTRL+向右的光標鍵來查看行號和列號。Python中使用shape函數來查看數據表的維度，也就是行數和列數，函數返回的結果(6,6)表示數據表有6行，6列。下面是具體的代碼。

#查看數據表的維度 df.shape (6, 6)

 

數據表信息

使用info函數查看數據表的總體信息，這裏返回的信息比較多，包括數據維度，列名稱，數據格式和所佔空間等信息。

#數據表信息 df.info() <class 'pandas.core.frame.DataFrame'> RangeIndex: 6 entries, 0 to 5 Data columns (total 6 columns): id 6 non-null int64 date 6 non-null datetime64[ns] city 6 non-null object category 6 non-null object age 6 non-null int64 price 4 non-null float64 dtypes: datetime64[ns](1), float64(1), int64(2), object(2) memory usage: 368.0+ bytes

 

 

查看數據格式

Excel中經過選中單元格並查看開始菜單中的數值類型來判斷數據的格式。Python中使用dtypes函數來返回數據格式。

Dtypes是一個查看數據格式的函數，能夠一次性查看數據表中全部數據的格式，也能夠指定一列來單獨查看。

#查看數據表各列格式 df.dtypes id int64 date datetime64[ns] city object category object age int64 price float64 dtype: object

#查看單列格式 df['B'].dtype dtype('int64')

 

查看空值

Excel中查看空值的方法是使用「定位條件」功能對數據表中的空值進行定位。「定位條件」在「開始」目錄下的「查找和選擇」目錄中。
Isnull是Python中檢驗空值的函數，返回的結果是邏輯值，包含空值返回True，不包含則返回False。能夠對整個數據表進行檢查，也能夠單獨對某一列進行空值檢查。

#檢查數據空值 df.isnull()

 

 

#檢查特定列空值 df['price'].isnull() 0 False 1 True 2 False 3 False 4 True 5 False Name: price, dtype: bool

 

查看惟一值

Excel中查看惟一值的方法是使用「條件格式」對惟一值進行顏色標記。Python中使用unique函數查看惟一值。

Unique是查看惟一值的函數，只能對數據表中的特定列進行檢查。下面是代碼，返回的結果是該列中的惟一值。相似與Excel中刪除重複項後的結果。

#查看city列中的惟一值 df['city'].unique() array(['Beijing ', 'SH', ' guangzhou ', 'Shenzhen', 'shanghai', 'BEIJING '], dtype=object)

 

查看數據表數值

Python中的Values函數用來查看數據表中的數值。以數組的形式返回，不包含表頭信息。

#查看數據表的值 df.values array([[1001, Timestamp('2013-01-02 00:00:00'), 'Beijing ', '100-A', 23, 1200.0], [1002, Timestamp('2013-01-03 00:00:00'), 'SH', '100-B', 44, nan], [1003, Timestamp('2013-01-04 00:00:00'), ' guangzhou ', '110-A', 54, 2133.0], [1004, Timestamp('2013-01-05 00:00:00'), 'Shenzhen', '110-C', 32, 5433.0], [1005, Timestamp('2013-01-06 00:00:00'), 'shanghai', '210-A', 34, nan], [1006, Timestamp('2013-01-07 00:00:00'), 'BEIJING ', '130-F', 32, 4432.0]], dtype=object)

 

查看列名稱

Colums函數用來單獨查看數據表中的列名稱。

#查看列名稱 df.columns Index(['id', 'date', 'city', 'category', 'age', 'price'], dtype='object')

 

查看前10行數據

Head函數用來查看數據表中的前N行數據，默認head()顯示前10行數據，能夠本身設置參數值來肯定查看的行數。下面的代碼中設置查看前3行的數據。

#查看前3行數據 df.head(3)

 

 

查看後10行數據

Tail行數與head函數相反，用來查看數據表中後N行的數據，默認tail()顯示後10行數據，能夠本身設置參數值來肯定查看的行數。下面的代碼中設置查看後3行的數據。

#查看最後3行 df.tail(3)

 

3，數據表清洗

第三部分是對數據表中的問題進行清洗。主要內容包括對空值，大小寫問題，數據格式和重複值的處理。這裏不包含對數據間的邏輯驗證。

 

處理空值(刪除或填充)

咱們在建立數據表的時候在price字段中故意設置了幾個NA值。對於空值的處理方式有不少種，能夠直接刪除包含空值的數據，也能夠對空值進行填充，好比用0填充或者用均值填充。還能夠根據不一樣字段的邏輯對空值進行推算。

Excel中能夠經過「查找和替換」功能對空值進行處理，將空值統一替換爲0或均值。也能夠經過「定位」空值來實現。

 

Python中處理空值的方法比較靈活，可使用 Dropna函數用來刪除數據表中包含空值的數據，也可使用fillna函數對空值進行填充。下面的代碼和結果中能夠看到使用dropna函數後，包含NA值的兩個字段已經不見了。返回的是一個不包含空值的數據表。

#刪除數據表中含有空值的行 df.dropna(how='any')

 

除此以外也可使用數字對空值進行填充，下面的代碼使用fillna函數對空值字段填充數字0。

#使用數字0填充數據表中空值 df.fillna(value=0)

咱們選擇填充的方式來處理空值，使用price列的均值來填充NA字段，一樣使用fillna函數，在要填充的數值中使用mean函數先計算price列當前的均值，而後使用這個均值對NA進行填
充。能夠看到兩個空值字段顯示爲3299.5

#使用price均值對NA進行填充
df['price'].fillna(df['price'].mean()) 0 1200.0
1    3299.5
2    2133.0
3    5433.0
4    3299.5
5    4432.0 Name: price, dtype: float64

 

 

清理空格

除了空值，字符中的空格也是數據清洗中一個常見的問題，下面是清除字符中空格的代碼。

#清除city字段中的字符空格
df['city']=df['city'].map(str.strip)

大小寫轉換

在英文字段中，字母的大小寫不統一也是一個常見的問題。Excel中有UPPER，LOWER等函數，python中也有同名函數用來解決大小寫的問題。在數據表的city列中就存在這樣的問題。咱們將city列的全部字母轉換爲小寫。下面是具體的代碼和結果。

 

#city列大小寫轉換
df['city']=df['city'].str.lower()

 

更改數據格式

Excel中經過「設置單元格格式」功能能夠修改數據格式。Python中經過astype函數用來修改數據格式。

Python中dtype是查看數據格式的函數，與之對應的是astype函數，用來更改數據格式。下面的代碼中將price字段的值修改成int格式。

#更改數據格式
df['price'].astype('int') 0 1200
1    3299
2    2133
3    5433
4    3299
5    4432 Name: price, dtype: int32

更改列名稱

Rename是更改列名稱的函數，咱們未來數據表中的category列更改成category-size。下面是具體的代碼和更改後的結果。

#更改列名稱
df.rename(columns={'category': 'category-size'})

 

 

 

刪除重複值

不少數據表中還包含重複值的問題，Excel的數據目錄下有「刪除重複項」的功能，能夠用來刪除數據表中的重複值。默認Excel會保留最早出現的數據，刪除後面重複出現的數據。

Python中使用drop_duplicates函數刪除重複值。咱們以數據表中的city列爲例，city字段中存在重複值。默認狀況下drop_duplicates()將刪除後出現的重複值(與excel邏輯一致)。增長keep=’last’參數後將刪除最早出現的重複值，保留最後的值。下面是具體的代碼和比較結果。

原始的city列中beijing存在重複，分別在第一位和最後一位。

 

df['city'] 0 beijing 1 sh 2 guangzhou 3 shenzhen 4 shanghai 5 beijing Name: city, dtype: object

 

使用默認的drop_duplicates()函數刪除重複值，從結果中能夠看到第一位的beijing被保留，最後出現的beijing被刪除。

#刪除後出現的重複值
df['city'].drop_duplicates() 0 beijing 1 sh 2 guangzhou 3 shenzhen 4 shanghai Name: city, dtype: object

 

設置keep=’last‘’參數後，與以前刪除重複值的結果相反，第一位出現的beijing被刪除，保留了最後一位出現的beijing。

#刪除先出現的重複值
df['city'].drop_duplicates(keep='last') 1 sh 2 guangzhou 3 shenzhen 4 shanghai 5 beijing Name: city, dtype: object

 

數值修改及替換

數據清洗中最後一個問題是數值修改或替換，Excel中使用「查找和替換」功能就能夠實現數值的替換。

Python中使用replace函數實現數據替換。數據表中city字段上海存在兩種寫法，分別爲shanghai和SH。咱們使用replace函數對SH進行替換。

#數據替換
df['city'].replace('sh', 'shanghai') 0 beijing 1 shanghai 2 guangzhou 3 shenzhen 4 shanghai 5 beijing Name: city, dtype: object

 

在第二篇文章中咱們將繼續介紹4-6部分的內容，分別爲數據預處理，數據提取和數據篩選三部分的問題。感興趣的朋友請繼續關注。