像Excel同樣使用python進行數據分析

Excel是數據分析中最經常使用的工具，本篇文章經過python與excel的功能對比介紹如何使用python經過函數式編程完成excel中的數據處理及分析工做。在Python中pandas庫用於數據處理 ，咱們從1787頁的pandas官網文檔中總結出最經常使用的36個函數，經過這些函數介紹如何經過python完成數據生成和導入，數據清洗，預處理，以及最多見的數據分類，數據篩選，分類 彙總，透視等最多見的操做。

文章內容共分爲9個部分。這是第一篇，介紹前3部份內容，數據表生成，數據表查看，和數據清洗。如下是《像Excel同樣使用python進行數據分析》系列文章的目錄。

1， 生成數據表

第一部分是生成數據表，常見的生成方法有兩種，第一種是導入外部數據，第二種是直接寫入數據。 Excel中的文件菜單中提供了獲取外部數據的功能，支持數據庫和文本文件和頁面的多種數據源導入。

python支持從多種類型的數據導入。在開始使用python進行數據導入前須要先導入pandas庫，爲了方便起見，咱們也同時導入numpy庫。

1 2	import numpy as np import pandas as pd

 

導入數據表

下面分別是從excel和csv格式文件導入數據並建立數據表的方法。代碼是最簡模式，裏面有不少可選參數設置，例如列名稱，索引列，數據格式等等。感興趣的朋友能夠參考pandas的
官方文檔。

1 2	df = pd.DataFrame(pd.read_csv( 'name.csv' ,header = 1 )) df = pd.DataFrame(pd.read_excel( 'name.xlsx' ))

 

建立數據表

另外一種方法是經過直接寫入數據來生成數據表，excel中直接在單元格中輸入數據就能夠，python中經過下面的代碼來實現。生成數據表的函數是pandas庫中的DateFrame函數，數據表一共有6行數據，每行有6個字段。在數據中咱們特地設置了一些NA值和有問題的字段，例如包含空格等。後面將在數據清洗步驟進行處理。後面咱們將統一以DataFrame的簡稱df來命名數據表。

1 2 3 4 5 6 7

df = pd.DataFrame({ "id" :[ 1001 , 1002 , 1003 , 1004 , 1005 , 1006 ],                     "date" :pd.date_range( '20130102' , periods = 6 ),                     "city" :[ 'Beijing ' , 'SH' , ' guangzhou ' , 'Shenzhen' , 'shanghai' , 'BEIJING ' ],                     "age" :[ 23 , 44 , 54 , 32 , 34 , 32 ],                     "category" :[ '100-A' , '100-B' , '110-A' , '110-C' , '210-A' , '130-F' ],                     "price" :[ 1200 ,np.nan, 2133 , 5433 ,np.nan, 4432 ]},                     columns = [ 'id' , 'date' , 'city' , 'category' , 'age' , 'price' ])

這是剛剛建立的數據表，咱們沒有設置索引列，price字段中包含有NA值，city字段中還包含了一些髒數據。

2，數據表檢查

第二部分是對數據表進行檢查，python中處理的數據量一般會比較大，好比咱們以前的文章中介紹的紐約出租車數據和Citibike的騎行數據，數據量都在千萬級，咱們沒法一目瞭然的 瞭解數據表的總體狀況，必需要經過一些方法來得到數據表的關鍵信息。數據表檢查的另外一個目的是瞭解數據的概況，例如整個數據表的大小，所佔空間，數據格式，是否有空值和重複項和具體的數據內容。爲後面的清洗和預處理作好準備。

 

數據維度(行列)

Excel中能夠經過CTRL+向下的光標鍵，和CTRL+向右的光標鍵來查看行號和列號。Python中使用shape函數來查看數據表的維度，也就是行數和列數，函數返回的結果(6,6)表示數據表有6行，6列。下面是具體的代碼。

1 2 3

#查看數據表的維度 df.shape ( 6 , 6 )

 

數據表信息

使用info函數查看數據表的總體信息，這裏返回的信息比較多，包括數據維度，列名稱，數據格式和所佔空間等信息。

1 2 3 4 5 6 7 8 9 10 11 12 13 14

#數據表信息 df.info()   < class 'pandas.core.frame.DataFrame' > RangeIndex: 6 entries, 0 to 5 Data columns (total 6 columns): id          6 non - null int64 date        6 non - null datetime64[ns] city        6 non - null object category    6 non - null object age         6 non - null int64 price       4 non - null float64 dtypes: datetime64[ns]( 1 ), float64( 1 ), int64( 2 ), object ( 2 ) memory usage: 368.0 + bytes

 

查看數據格式

Excel中經過選中單元格並查看開始菜單中的數值類型來判斷數據的格式。Python中使用dtypes函數來返回數據格式。

Dtypes是一個查看數據格式的函數，能夠一次性查看數據表中全部數據的格式，也能夠指定一列來單獨查看。

1 2 3 4 5 6 7 8 9 10

#查看數據表各列格式 df.dtypes   id                   int64 date        datetime64[ns] city                object category            object age                  int64 price              float64 dtype: object

1 2 3 4

#查看單列格式 df[ 'B' ].dtype   dtype( 'int64' )

 

查看空值

Excel中查看空值的方法是使用「定位條件」功能對數據表中的空值進行定位。「定位條件」在「開始」目錄下的「查找和選擇」目錄中。

Isnull是Python中檢驗空值的函數，返回的結果是邏輯值，包含空值返回True，不包含則返回False。能夠對整個數據表進行檢查，也能夠單獨對某一列進行空值檢查。

1 2	#檢查數據空值 df.isnull()

1 2 3 4 5 6 7 8 9 10

#檢查特定列空值 df[ 'price' ].isnull()   0    False 1     True 2    False 3    False 4     True 5    False Name: price, dtype: bool

 

查看惟一值

Excel中查看惟一值的方法是使用「條件格式」對惟一值進行顏色標記。Python中使用unique函數查看惟一值。

Unique是查看惟一值的函數，只能對數據表中的特定列進行檢查。下面是代碼，返回的結果是該列中的惟一值。相似與Excel中刪除重複項後的結果。

1 2 3 4

#查看city列中的惟一值 df[ 'city' ].unique()   array([ 'Beijing ' , 'SH' , ' guangzhou ' , 'Shenzhen' , 'shanghai' , 'BEIJING ' ], dtype = object )

 

查看數據表數值

Python中的Values函數用來查看數據表中的數值。以數組的形式返回，不包含表頭信息。

1 2 3 4 5 6 7 8 9 10 11 12 13 14

#查看數據表的值 df.values   array([[ 1001 , Timestamp( '2013-01-02 00:00:00' ), 'Beijing ' , '100-A' , 23 ,          1200.0 ],         [ 1002 , Timestamp( '2013-01-03 00:00:00' ), 'SH' , '100-B' , 44 , nan],         [ 1003 , Timestamp( '2013-01-04 00:00:00' ), ' guangzhou ' , '110-A' , 54 ,          2133.0 ],         [ 1004 , Timestamp( '2013-01-05 00:00:00' ), 'Shenzhen' , '110-C' , 32 ,          5433.0 ],         [ 1005 , Timestamp( '2013-01-06 00:00:00' ), 'shanghai' , '210-A' , 34 ,          nan],         [ 1006 , Timestamp( '2013-01-07 00:00:00' ), 'BEIJING ' , '130-F' , 32 ,          4432.0 ]], dtype = object )

 

查看列名稱

Colums函數用來單獨查看數據表中的列名稱。

1 2 3 4

#查看列名稱 df.columns   Index([ 'id' , 'date' , 'city' , 'category' , 'age' , 'price' ], dtype = 'object' )

 

查看前10行數據

Head函數用來查看數據表中的前N行數據，默認head()顯示前10行數據，能夠本身設置參數值來肯定查看的行數。下面的代碼中設置查看前3行的數據。

1 2	#查看前3行數據 df.head( 3 )

 

查看後10行數據

Tail行數與head函數相反，用來查看數據表中後N行的數據，默認tail()顯示後10行數據，能夠本身設置參數值來肯定查看的行數。下面的代碼中設置查看後3行的數據。

1 2	#查看最後3行 df.tail( 3 )

3，數據表清洗

第三部分是對數據表中的問題進行清洗。主要內容包括對空值，大小寫問題，數據格式和重複值的處理。這裏不包含對數據間的邏輯驗證。

 

處理空值(刪除或填充)

咱們在建立數據表的時候在price字段中故意設置了幾個NA值。對於空值的處理方式有不少種，能夠直接刪除包含空值的數據，也能夠對空值進行填充，好比用0填充或者用均值填充。還能夠根據不一樣字段的邏輯對空值進行推算。

Excel中能夠經過「查找和替換」功能對空值進行處理，將空值統一替換爲0或均值。也能夠經過「定位」空值來實現。

Python中處理空值的方法比較靈活，可使用 Dropna函數用來刪除數據表中包含空值的數據，也可使用fillna函數對空值進行填充。下面的代碼和結果中能夠看到使用dropna函數後，包含NA值的兩個字段已經不見了。返回的是一個不包含空值的數據表。

1 2	#刪除數據表中含有空值的行 df.dropna(how = 'any' )

除此以外也可使用數字對空值進行填充，下面的代碼使用fillna函數對空值字段填充數字0。

1 2	#使用數字0填充數據表中空值 df.fillna(value = 0 )

咱們選擇填充的方式來處理空值，使用price列的均值來填充NA字段，一樣使用fillna函數，在要填充的數值中使用mean函數先計算price列當前的均值，而後使用這個均值對NA進行填
充。能夠看到兩個空值字段顯示爲3299.5

1 2 3 4 5 6 7 8 9 10

#使用price均值對NA進行填充 df[ 'price' ].fillna(df[ 'price' ].mean())   0    1200.0 1    3299.5 2    2133.0 3    5433.0 4    3299.5 5    4432.0 Name: price, dtype: float64

 

清理空格

除了空值，字符中的空格也是數據清洗中一個常見的問題，下面是清除字符中空格的代碼。

1 2	#清除city字段中的字符空格 df[ 'city' ] = df[ 'city' ]. map ( str .strip)

 

大小寫轉換

在英文字段中，字母的大小寫不統一也是一個常見的問題。Excel中有UPPER，LOWER等函數，python中也有同名函數用來解決大小寫的問題。在數據表的city列中就存在這樣的問題。咱們將city列的全部字母轉換爲小寫。下面是具體的代碼和結果。

1 2 3

#city列大小寫轉換   df[ 'city' ] = df[ 'city' ]. str .lower()

更改數據格式

Excel中經過「設置單元格格式」功能能夠修改數據格式。Python中經過astype函數用來修改數據格式。

Python中dtype是查看數據格式的函數，與之對應的是astype函數，用來更改數據格式。下面的代碼中將price字段的值修改成int格式。

1 2 3 4 5 6 7 8 9 10

#更改數據格式 df[ 'price' ].astype( 'int' )   0    1200 1    3299 2    2133 3    5433 4    3299 5    4432 Name: price, dtype: int32

 

更改列名稱

Rename是更改列名稱的函數，咱們未來數據表中的category列更改成category-size。下面是具體的代碼和更改後的結果。

1 2	#更改列名稱 df.rename(columns = { 'category' : 'category-size' })

 

刪除重複值

不少數據表中還包含重複值的問題，Excel的數據目錄下有「刪除重複項」的功能，能夠用來刪除數據表中的重複值。默認Excel會保留最早出現的數據，刪除後面重複出現的數據。

Python中使用drop_duplicates函數刪除重複值。咱們以數據表中的city列爲例，city字段中存在重複值。默認狀況下drop_duplicates()將刪除後出現的重複值(與excel邏輯一致)。增長keep=’last’參數後將刪除最早出現的重複值，保留最後的值。下面是具體的代碼和比較結果。

原始的city列中beijing存在重複，分別在第一位和最後一位。

1 2 3 4 5 6 7 8

df[ 'city' ] 0      beijing 1           sh 2    guangzhou 3     shenzhen 4     shanghai 5      beijing Name: city, dtype: object

使用默認的drop_duplicates()函數刪除重複值，從結果中能夠看到第一位的beijing被保留，最後出現的beijing被刪除。

1 2 3 4 5 6 7 8

#刪除後出現的重複值 df[ 'city' ].drop_duplicates() 0      beijing 1           sh 2    guangzhou 3     shenzhen 4     shanghai Name: city, dtype: object

設置keep=’last‘’參數後，與以前刪除重複值的結果相反，第一位出現的beijing被刪除，保留了最後一位出現的beijing。

1 2 3 4 5 6 7 8

#刪除先出現的重複值 df[ 'city' ].drop_duplicates(keep = 'last' ) 1           sh 2    guangzhou 3     shenzhen 4     shanghai 5      beijing Name: city, dtype: objec

 

數值修改及替換

數據清洗中最後一個問題是數值修改或替換，Excel中使用「查找和替換」功能就能夠實現數值的替換。

Python中使用replace函數實現數據替換。數據表中city字段上海存在兩種寫法，分別爲shanghai和SH。咱們使用replace函數對SH進行替換。

1 2 3 4 5 6 7 8 9

#數據替換 df[ 'city' ].replace( 'sh' , 'shanghai' ) 0      beijing 1     shanghai 2    guangzhou 3     shenzhen 4     shanghai 5      beijing Name: city, dtype: object

本篇文章這是系列的第二篇，介紹第4-6部分的內容，數據表生成，數據表查看，和數據清洗。

4，數據預處理

第四部分是數據的預處理，對清洗完的數據進行整理以便後期的統計和分析工做。主要包括數據表的合併，排序，數值分列，數據分
組及標記等工做。

數據表合併

首先是對不一樣的數據表進行合併，咱們這裏建立一個新的數據表df1，並將df和df1兩個數據表進行合併。在Excel中沒有直接完成數據表合併的功能，能夠經過VLOOKUP函數分步實現。在python中能夠經過merge函數一次性實現。下面創建df1數據表，用於和df數據表進行合併。

1 2 3 4 5

#建立df1數據表 df1 = pd.DataFrame({ "id" :[ 1001 , 1002 , 1003 , 1004 , 1005 , 1006 , 1007 , 1008 ], "gender" :[ 'male' , 'female' , 'male' , 'female' , 'male' , 'female' , 'male' , 'female' ], "pay" :[ 'Y' , 'N' , 'Y' , 'Y' , 'N' , 'Y' , 'N' , 'Y' ,], "m-point" :[ 10 , 12 , 20 , 40 , 40 , 40 , 30 , 20 ]})

使用merge函數對兩個數據表進行合併，合併的方式爲inner，將兩個數據表中共有的數據匹配到一塊兒生成新的數據表。並命名爲df_inner。

1 2	#數據表匹配合並，inner模式 df_inner = pd.merge(df,df1,how = 'inner' )

除了inner方式之外，合併的方式還有left，right和outer方式。這幾種方式的差異在我其餘的文章中有詳細的說明和對比。

1 2 3 4

#其餘數據表匹配模式 df_left = pd.merge(df,df1,how = 'left' ) df_right = pd.merge(df,df1,how = 'right' ) df_outer = pd.merge(df,df1,how = 'outer' )

設置索引列

完成數據表的合併後，咱們對df_inner數據表設置索引列，索引列的功能不少，能夠進行數據提取，彙總，也能夠進行數據篩選等。
設置索引的函數爲set_index。

1 2	#設置索引列 df_inner.set_index( 'id' )

排序(按索引，按數值)

Excel中能夠經過數據目錄下的排序按鈕直接對數據表進行排序，比較簡單。Python中須要使用ort_values函數和sort_index函數完成排序。

在python中，既能夠按索引對數據表進行排序，也能夠看制定列的數值進行排序。首先咱們按age列中用戶的年齡對數據表進行排序。
使用的函數爲sort_values。

1 2	#按特定列的值排序 df_inner.sort_values(by = [ 'age' ])

Sort_index函數用來將數據表按索引列的值進行排序。

1 2	#按索引列排序 df_inner.sort_index()

數據分組

Excel中能夠經過VLOOKUP函數進行近似匹配來完成對數值的分組，或者使用「數據透視表」來完成分組。相應的 python中使用where函數完成數據分組。

Where函數用來對數據進行判斷和分組，下面的代碼中咱們對price列的值進行判斷，將符合條件的分爲一組，不符合條件的分爲另外一組，並使用group字段進行標記。

1 2	#若是price列的值>3000，group列顯示high，不然顯示low df_inner[ 'group' ] = np.where(df_inner[ 'price' ] > 3000 , 'high' , 'low' )

除了where函數之外，還能夠對多個字段的值進行判斷後對數據進行分組，下面的代碼中對city列等於beijing而且price列大於等於4000的數據標記爲1。

1 2	#對複合多個條件的數據進行分組標記 df_inner.loc[(df_inner[ 'city' ] = = 'beijing' ) & (df_inner[ 'price' ] > = 4000 ), 'sign' ] = 1

數據分列

與數據分組相反的是對數值進行分列，Excel中的數據目錄下提供「分列」功能。在python中使用split函數實現分列。

在數據表中category列中的數據包含有兩個信息，前面的數字爲類別id，後面的字母爲size值。中間以連字符進行鏈接。咱們使用split函數對這個字段進行拆分，並將拆分後的數據表匹配回原數據表中。

1 2	#對category字段的值依次進行分列，並建立數據表，索引值爲df_inner的索引列，列名稱爲category和size pd.DataFrame((x.split( '-' ) for x in df_inner[ 'category' ]),index = df_inner.index,columns = [ 'category' , 'size' ])

1 2	#將完成分列後的數據表與原df_inner數據表進行匹配 df_inner = pd.merge(df_inner,split,right_index = True , left_index = True )

5，數據提取

第五部分是數據提取，也是數據分析中最多見的一個工做。這部分主要使用三個函數，loc，iloc和ix，loc函數按標籤值進行提取，iloc按位置進行提取，ix能夠同時按標籤和位置進行提取。下面介紹每一種函數的使用方法。

按標籤提取(loc)

Loc函數按數據表的索引標籤進行提取，下面的代碼中提取了索引列爲3的單條數據。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

#按索引提取單行的數值 df_inner.loc[ 3 ] id 1004 date 2013 - 01 - 05 00 : 00 : 00 city shenzhen category 110 - C age 32 price 5433 gender female m - point 40 pay Y group high sign NaN category_1 110 size C Name: 3 , dtype: object

使用冒號能夠限定提取數據的範圍，冒號前面爲開始的標籤值，後面爲結束的標籤值。下面提取了0到5的數據行。

1 2	#按索引提取區域行數值 df_inner.loc[ 0 : 5 ]

Reset_index函數用於恢復索引，這裏咱們從新將date字段的日期設置爲數據表的索引，並按日期進行數據提取。

1 2	#重設索引 df_inner.reset_index()

1 2	#設置日期爲索引 df_inner = df_inner.set_index( 'date' )

使用冒號限定提取數據的範圍，冒號前面爲空表示從0開始。提取全部2013年1月4日之前的數據。

1 2	#提取4日以前的全部數據 df_inner[: '2013-01-04' ]

按位置提取(iloc)

使用iloc函數按位置對數據表中的數據進行提取，這裏冒號先後的數字再也不是索引的標籤名稱，而是數據所在的位置，從0開始。

1 2	#使用iloc按位置區域提取數據 df_inner.iloc[: 3 ,: 2 ]

iloc函數除了能夠按區域提取數據，還能夠按位置逐條提取，前面方括號中的0,2,5表示數據所在行的位置，後面方括號中的數表示所在列的位置。

1 2	#使用iloc按位置單獨提取數據 df_inner.iloc[[ 0 , 2 , 5 ],[ 4 , 5 ]]

按標籤和位置提取（ix）

ix是loc和iloc的混合，既能按索引標籤提取，也能按位置進行數據提取。下面代碼中行的位置按索引日期設置，列按位置設置。

1 2	#使用ix按索引標籤和位置混合提取數據 df_inner.ix[: '2013-01-03' ,: 4 ]

按條件提取（區域和條件值）

除了按標籤和位置提起數據之外，還能夠按具體的條件進行數據。下面使用loc和isin兩個函數配合使用，按指定條件對數據進行提取 。

使用isin函數對city中的值是否爲beijing進行判斷。

1 2 3 4 5 6 7 8 9 10 11

#判斷city列的值是否爲beijing df_inner[ 'city' ].isin([ 'beijing' ])   date 2013 - 01 - 02 True 2013 - 01 - 05 False 2013 - 01 - 07 True 2013 - 01 - 06 False 2013 - 01 - 03 False 2013 - 01 - 04 False Name: city, dtype: bool

 

將isin函數嵌套到loc的數據提取函數中，將判斷結果爲Ture數據提取出來。這裏咱們把判斷條件改成city值是否爲beijing和 shanghai。若是是就把這條數據提取出來。

1 2	#先判斷city列裏是否包含beijing和shanghai，而後將複合條件的數據提取出來。 df_inner.loc[df_inner[ 'city' ].isin([ 'beijing' , 'shanghai' ])]

數值提取還能夠完成相似數據分列的工做，從合併的數值中提取出制定的數值。

1 2 3 4 5 6 7 8

category = df_inner[ 'category' ] 0 100 - A 3 110 - C 5 130 - F 4 210 - A 1 100 - B 2 110 - A Name: category, dtype: object

1 2	#提取前三個字符，並生成數據表 pd.DataFrame(category. str [: 3 ])

6，數據篩選

第六部分爲數據篩選，使用與，或，非三個條件配合大於，小於和等於對數據進行篩選，並進行計數和求和。與excel中的篩選功能和countifs和sumifs功能類似。

按條件篩選（與，或，非）

Excel數據目錄下提供了「篩選」功能，用於對數據表按不一樣的條件進行篩選。Python中使用loc函數配合篩選條件來完成篩選功能。配合sum和count函數還能實現excel中sumif和countif函數的功能。

使用「與」條件進行篩選，條件是年齡大於25歲，而且城市爲beijing。篩選後只有一條數據符合要求。

1 2	#使用「與」條件進行篩選 df_inner.loc[(df_inner[ 'age' ] > 25 ) & (df_inner[ 'city' ] = = 'beijing' ), [ 'id' , 'city' , 'age' , 'category' , 'gender' ]]

使用「或」條件進行篩選，年齡大於25歲或城市爲beijing。篩選後有6條數據符合要求。

1 2 3

#使用「或」條件篩選 df_inner.loc[(df_inner[ 'age' ] > 25 ) | (df_inner[ 'city' ] = = 'beijing' ), [ 'id' , 'city' , 'age' , 'category' , 'gender' ]].sort ([ 'age' ])

在前面的代碼後增長price字段以及sum函數，按篩選後的結果將price字段值進行求和，至關於excel中sumifs的功能。

1 2 3 4 5

#對篩選後的數據按price字段進行求和 df_inner.loc[(df_inner[ 'age' ] > 25 ) | (df_inner[ 'city' ] = = 'beijing' ), [ 'id' , 'city' , 'age' , 'category' , 'gender' , 'price' ]].sort([ 'age' ]).price. sum ()   19796

使用「非」條件進行篩選，城市不等於beijing。符合條件的數據有4條。將篩選結果按id列進行排序。

1 2	#使用「非」條件進行篩選 df_inner.loc[(df_inner[ 'city' ] ! = 'beijing' ), [ 'id' , 'city' , 'age' , 'category' , 'gender' ]].sort([ 'id' ])

在前面的代碼後面增長city列，並使用count函數進行計數。至關於excel中的countifs函數的功能。

1 2 3

#對篩選後的數據按city列進行計數 df_inner.loc[(df_inner[ 'city' ] ! = 'beijing' ), [ 'id' , 'city' , 'age' , 'category' , 'gender' ]].sort([ 'id' ]).city.count() 4

還有一種篩選的方式是用query函數。下面是具體的代碼和篩選結果。

1 2	#使用query函數進行篩選 df_inner.query( 'city == ["beijing", "shanghai"]' )

在前面的代碼後增長price字段和sum函數。對篩選後的price字段進行求和，至關於excel中的sumifs函數的功能。

1 2 3

#對篩選後的結果按price進行求和 df_inner.query( 'city == ["beijing", "shanghai"]' ).price. sum () 12230

 

這是第三篇，介紹第7-9部分的內容，數據彙總，數據統計，和數據輸出。

7，數據彙總

第七部分是對數據進行分類彙總，Excel中使用分類彙總和數據透視能夠按特定維度對數據進行彙總，python中使用的主要函數是groupby和pivot_table。下面分別介紹這兩個函數的使用方法。

分類彙總

Excel的數據目錄下提供了「分類彙總」功能，能夠按指定的字段和彙總方式對數據表進行彙總。Python中經過Groupby函數完成相應的操做，並能夠支持多級分類彙總。

Groupby是進行分類彙總的函數，使用方法很簡單，制定要分組的列名稱就能夠，也能夠同時制定多個列名稱，groupby按列名稱出現的順序進行分組。同時要制定分組後的彙總方式，常見的是計數和求和兩種。

1 2	#對全部列進行計數彙總 df_inner.groupby( 'city' ).count()

能夠在groupby中設置列名稱來對特定的列進行彙總。下面的代碼中按城市對id字段進行彙總計數。

1 2 3 4 5 6 7 8

#對特定的ID列進行計數彙總 df_inner.groupby( 'city' )[ 'id' ].count() city beijing 2 guangzhou 1 shanghai 2 shenzhen 1 Name: id , dtype: int64

在前面的基礎上增長第二個列名稱，分佈對city和size兩個字段進行計數彙總。

1 2 3 4 5 6 7 8 9 10

#對兩個字段進行彙總計數 df_inner.groupby([ 'city' , 'size' ])[ 'id' ].count() city size beijing A 1 F 1 guangzhou A 1 shanghai A 1 B 1 shenzhen C 1 Name: id , dtype: int64

除了計數和求和外，還能夠對彙總後的數據同時按多個維度進行計算，下面的代碼中按城市對price字段進行彙總，並分別計算price的數量，總金額和平均金額。

1 2	#對city字段進行彙總並計算price的合計和均值。 df_inner.groupby( 'city' )[ 'price' ].agg([ len ,np. sum , np.mean])

數據透視

Excel中的插入目錄下提供「數據透視表」功能對數據表按特定維度進行彙總。Python中也提供了數據透視表功能。經過pivot_table函數實現一樣的效果。

數據透視表也是經常使用的一種數據分類彙總方式，而且功能上比groupby要強大一些。下面的代碼中設定city爲行字段，size爲列字段，price爲值字段。分別計算price的數量和金額而且按行與列進行彙總。

1 2	#數據透視表 pd.pivot_table(df_inner,index = [ "city" ],values = [ "price" ],columns = [ "size" ],aggfunc = [ len ,np. sum ],fill_value = 0 ,margins = True )

8，數據統計

第九部分爲數據統計，這裏主要介紹數據採樣，標準差，協方差和相關係數的使用方法。

數據採樣

Excel的數據分析功能中提供了數據抽樣的功能，以下圖所示。Python經過sample函數完成數據採樣。

Sample是進行數據採樣的函數，設置n的數量就能夠了。函數自動返回參與的結果。

1 2	#簡單的數據採樣 df_inner.sample(n = 3 )

Weights參數是採樣的權重，經過設置不一樣的權重能夠更改採樣的結果，權重高的數據將更有但願被選中。這裏手動設置6條數據的權重值。將前面4個設置爲0，後面兩個分別設置爲0.5。

1 2 3

#手動設置採樣權重 weights = [ 0 , 0 , 0 , 0 , 0.5 , 0.5 ] df_inner.sample(n = 2 , weights = weights)

從採樣結果中能夠看出，後兩條權重高的數據被選中。

Sample函數中還有一個參數replace，用來設置採樣後是否放回。

1 2	#採樣後不放回 df_inner.sample(n = 6 , replace = False )

1 2	#採樣後放回 df_inner.sample(n = 6 , replace = True )

描述統計

Excel中的數據分析中提供了描述統計的功能。Python中能夠經過Describe對數據進行描述統計。

Describe函數是進行描述統計的函數，自動生成數據的數量，均值，標準差等數據。下面的代碼中對數據表進行描述統計，並使用round函數設置結果顯示的小數位。並對結果數據進行轉置。

1 2	#數據表描述性統計 df_inner.describe(). round ( 2 ).T

標準差
Python中的Std函數用來接算特定數據列的標準差。

1 2 3

#標準差 df_inner[ 'price' ].std() 1523.3516556155596

協方差
Excel中的數據分析功能中提供協方差的計算，python中經過cov函數計算兩個字段或數據表中各字段間的協方差。

Cov函數用來計算兩個字段間的協方差，能夠只對特定字段進行計算，也能夠對整個數據表中各個列之間進行計算。

1 2 3

#兩個字段間的協方差 df_inner[ 'price' ].cov(df_inner[ 'm-point' ]) 17263.200000000001

1 2	#數據表中全部字段間的協方差 df_inner.cov()

相關分析
Excel的數據分析功能中提供了相關係數的計算功能，python中則經過corr函數完成相關分析的操做，並返回相關係數。

Corr函數用來計算數據間的相關係數，能夠單獨對特定數據進行計算，也能夠對整個數據表中各個列進行計算。相關係數在-1到1之間，接近1爲正相關，接近-1爲負相關，0爲不相關。

1 2 3

#相關性分析 df_inner[ 'price' ].corr(df_inner[ 'm-point' ]) 0.77466555617085264

1 2	#數據表相關性分析 df_inner.corr()

9，數據輸出

第九部分是數據輸出，處理和分析完的數據能夠輸出爲xlsx格式和csv格式。

寫入excel

1 2	#輸出到excel格式 df_inner.to_excel( 'excel_to_python.xlsx' , sheet_name = 'bluewhale_cc' )

寫入csv

1 2	#輸出到CSV格式 df_inner.to_csv( 'excel_to_python.csv' )

在數據處理的過程當中，大部分基礎工做是重複和機械的，對於這部分基礎工做，咱們可使用自定義函數進行自動化。如下簡單介紹對數據表信息獲取自動化處理。

1 2 3 4 5 6 7 8

#建立數據表 df = pd.DataFrame({ "id" :[ 1001 , 1002 , 1003 , 1004 , 1005 , 1006 ], "date" :pd.date_range( '20130102' , periods = 6 ), "city" :[ 'Beijing ' , 'SH' , ' guangzhou ' , 'Shenzhen' , 'shanghai' , 'BEIJING ' ], "age" :[ 23 , 44 , 54 , 32 , 34 , 32 ], "category" :[ '100-A' , '100-B' , '110-A' , '110-C' , '210-A' , '130-F' ], "price" :[ 1200 ,np.nan, 2133 , 5433 ,np.nan, 4432 ]}, columns = [ 'id' , 'date' , 'city' , 'category' , 'age' , 'price' ])

1 2 3 4 5 6 7 8

#建立自定義函數 def table_info(x):      shape = x.shape      types = x.dtypes      colums = x.columns      print ( "數據維度(行，列):\n" ,shape)      print ( "數據格式:\n" ,types)      print ( "列名稱:\n" ,colums)

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

#調用自定義函數獲取df數據表信息並輸出結果 table_info(df)   數據維度(行，列): ( 6 , 6 ) 數據格式: id int64 date datetime64[ns] city object category object age int64 price float64 dtype: object 列名稱: Index([ 'id' , 'date' , 'city' , 'category' , 'age' , 'price' ], dtype = 'object' )

轉載來源於：

http://bluewhale.cc/2017-04-21/use-python-for-data-analysis-like-excel-1.html

http://bluewhale.cc/2017-04-21/use-python-for-data-analysis-like-excel-2.html

http://bluewhale.cc/2017-04-21/use-python-for-data-analysis-like-excel-3.html