pandas聚合和分組運算——GroupBy技術(1)
數據聚合與分組運算——GroupBy技術(1)，有須要的朋友能夠參考下。python
pandas提供了一個靈活高效的groupby功能，它使你能以一種天然的方式對數據集進行切片、切塊、摘要等操做。根據一個或多個鍵（能夠是函數、數組或DataFrame列名）拆分pandas對象。計算分組摘要統計，如計數、平均值、標準差，或用戶自定義函數。對DataFrame的列應用各類各樣的函數。應用組內轉換或其餘運算，如規格化、線性迴歸、排名或選取子集等。計算透視表或交叉表。執行分位數分析以及其餘分組分析。數組
一、首先來看看下面這個很是簡單的表格型數據集（以DataFrame的形式）：app
>>> import pandas as pd
>>> df = pd.DataFrame({'key1':['a', 'a', 'b', 'b', 'a'],
... 'key2':['one', 'two', 'one', 'two', 'one'],
... 'data1':np.random.randn(5),
... 'data2':np.random.randn(5)})
>>> df
data1 data2 key1 key2
0 -0.410673 0.519378 a one
1 -2.120793 0.199074 a two
2 0.642216 -0.143671 b one
3 0.975133 -0.592994 b two
4 -1.017495 -0.530459 a one
假設你想要按key1進行分組，並計算data1列的平均值，咱們能夠訪問data1，並根據key1調用groupby：dom
>>> grouped = df['data1'].groupby(df['key1']) >>> grouped <pandas.core.groupby.SeriesGroupBy object at 0x04120D70>
變量grouped是一個GroupBy對象，它實際上尚未進行任何計算，只是含有一些有關分組鍵df['key1']的中間數據而已，而後咱們能夠調用GroupBy的mean方法來計算分組平均值：函數
>>> grouped.mean() key1 a -1.182987 b 0.808674 dtype: float64
說明：數據（Series）根據分組鍵進行了聚合，產生了一個新的Series，其索引爲key1列中的惟一值。之因此結果中索引的名稱爲key1，是由於原始DataFrame的列df['key1']就叫這個名字。大數據
二、若是咱們一次傳入多個數組，就會獲得不一樣的結果：對象
>>> means = df['data1'].groupby([df['key1'], df['key2']]).mean()
>>> means
key1 key2
a one -0.714084
two -2.120793
b one 0.642216
two 0.975133
dtype: float64
經過兩個鍵對數據進行了分組，獲得的Series具備一個層次化索引（由惟一的鍵對組成）：blog
>>> means.unstack() key2 one two key1 a -0.714084 -2.120793 b 0.642216 0.975133
在上面這些示例中，分組鍵均爲Series。實際上，分組鍵能夠是任何長度適當的數組：索引
>>> states = np.array(['Ohio', 'California', 'California', 'Ohio', 'Ohio'])
>>> years = np.array([2005, 2005, 2006, 2005, 2006])
>>> df['data1'].groupby([states, years]).mean()
California 2005 -2.120793
2006 0.642216
Ohio 2005 0.282230
2006 -1.017495
dtype: float64
三、此外，你還能夠將列名（能夠是字符串、數字或其餘Python對象）用做分組將：字符串
>>> df.groupby('key1').mean()
data1 data2
key1
a -1.182987 0.062665
b 0.808674 -0.368333
>>> df.groupby(['key1', 'key2']).mean()
data1 data2
key1 key2
a one -0.714084 -0.005540
two -2.120793 0.199074
b one 0.642216 -0.143671
two 0.975133 -0.592994
說明：在執行df.groupby('key1').mean()時，結果中沒有key2列。這是由於df['key2']不是數值數據，因此被從結果中排除了。默認狀況下，全部數值列都會被聚合，雖然有時可能會被過濾爲一個子集。
不管你準備拿groupby作什麼，都有可能會用到GroupBy的size方法，它能夠返回一個含有分組大小的Series：
>>> df.groupby(['key1', 'key2']).size()
key1 key2
a one 2
two 1
b one 1
two 1
dtype: int64
注意：分組鍵中的任何缺失值都會被排除在結果以外。
四、對分組進行迭代
GroupBy對象支持迭代，能夠產生一組二元元組（由分組名和數據塊組成）。看看下面這個簡單的數據集：
>>> for name, group in df.groupby('key1'):
... print(name)
... print(group)
...
a
data1 data2 key1 key2
0 -0.410673 0.519378 a one
1 -2.120793 0.199074 a two
4 -1.017495 -0.530459 a one
b
data1 data2 key1 key2
2 0.642216 -0.143671 b one
3 0.975133 -0.592994 b two
對於多重鍵的狀況，元組的第一個元素將會是由鍵值組成的元組：
>>> for (k1, k2), group in df.groupby(['key1', 'key2']):
... print k1, k2
... print group
...
a one
data1 data2 key1 key2
0 -0.410673 0.519378 a one
4 -1.017495 -0.530459 a one
a two
data1 data2 key1 key2
1 -2.120793 0.199074 a two
b one
data1 data2 key1 key2
2 0.642216 -0.143671 b one
b two
data1 data2 key1 key2
3 0.975133 -0.592994 b two
固然，你能夠對這些數據片斷作任何操做。有一個你可能會以爲有用的運算：將這些數據片斷作成一個字典：
>>> pieces = dict(list(df.groupby('key1')))
>>> pieces['b']
data1 data2 key1 key2
2 0.642216 -0.143671 b one
3 0.975133 -0.592994 b two
>>> df.groupby('key1')
<pandas.core.groupby.DataFrameGroupBy object at 0x0413AE30>
>>> list(df.groupby('key1'))
[('a', data1 data2 key1 key2
0 -0.410673 0.519378 a one
1 -2.120793 0.199074 a two
4 -1.017495 -0.530459 a one), ('b', data1 data2 key1 key2
2 0.642216 -0.143671 b one
3 0.975133 -0.592994 b two)]
groupby默認是在axis=0上進行分組的，經過設置也能夠在其餘任何軸上進行分組。那上面例子中的df來講，咱們能夠根據dtype對列進行分組：
>>> df.dtypes
data1 float64
data2 float64
key1 object
key2 object
dtype: object
>>> grouped = df.groupby(df.dtypes, axis=1)
>>> dict(list(grouped))
{dtype('O'): key1 key2
0 a one
1 a two
2 b one
3 b two
4 a one, dtype('float64'): data1 data2
0 -0.410673 0.519378
1 -2.120793 0.199074
2 0.642216 -0.143671
3 0.975133 -0.592994
4 -1.017495 -0.530459}
>>> grouped
<pandas.core.groupby.DataFrameGroupBy object at 0x041288F0>
>>> list(grouped)
[(dtype('float64'), data1 data2
0 -0.410673 0.519378
1 -2.120793 0.199074
2 0.642216 -0.143671
3 0.975133 -0.592994
4 -1.017495 -0.530459), (dtype('O'), key1 key2
0 a one
1 a two
2 b one
3 b two
4 a one)]
五、選取一個或一組列
對於由DataFrame產生的GroupBy對象，若是用一個（單個字符串）或一組（字符串數組）列名對其進行索引，就能實現選取部分列進行聚合的目的，即：
>>> df.groupby('key1')['data1']
<pandas.core.groupby.SeriesGroupBy object at 0x06615FD0>
>>> df.groupby('key1')['data2']
<pandas.core.groupby.SeriesGroupBy object at 0x06615CB0>
>>> df.groupby('key1')[['data2']]
<pandas.core.groupby.DataFrameGroupBy object at 0x06615F10>
和如下代碼是等效的：
>>> df['data1'].groupby([df['key1']]) <pandas.core.groupby.SeriesGroupBy object at 0x06615FD0> >>> df[['data2']].groupby([df['key1']]) <pandas.core.groupby.DataFrameGroupBy object at 0x06615F10> >>> df['data2'].groupby([df['key1']]) <pandas.core.groupby.SeriesGroupBy object at 0x06615E30>
尤爲對於大數據集，極可能只須要對部分列進行聚合。例如，在前面那個數據集中，若是隻需計算data2列的平均值並以DataFrame形式獲得結果，代碼以下：
>>> df.groupby(['key1', 'key2'])[['data2']].mean()
data2
key1 key2
a one -0.005540
two 0.199074
b one -0.143671
two -0.592994
>>> df.groupby(['key1', 'key2'])['data2'].mean()
key1 key2
a one -0.005540
two 0.199074
b one -0.143671
two -0.592994
Name: data2, dtype: float64
這種索引操做所返回的對象是一個已分組的DataFrame（若是傳入的是列表或數組）或已分組的Series（若是傳入的是標量形式的單個列明）：
>>> s_grouped = df.groupby(['key1', 'key2'])['data2']
>>> s_grouped
<pandas.core.groupby.SeriesGroupBy object at 0x06615B10>
>>> s_grouped.mean()
key1 key2
a one -0.005540
two 0.199074
b one -0.143671
two -0.592994
Name: data2, dtype: float64
六、經過字典或Series進行分組
除數組之外，分組信息還能夠其餘形式存在，來看一個DataFrame示例：
>>> people = pd.DataFrame(np.random.randn(5, 5),
... columns=['a', 'b', 'c', 'd', 'e'],
... index=['Joe', 'Steve', 'Wes', 'Jim', 'Travis']
... )
>>> people
a b c d e
Joe 0.306336 -0.139431 0.210028 -1.489001 -0.172998
Steve 0.998335 0.494229 0.337624 -1.222726 -0.402655
Wes 1.415329 0.450839 -1.052199 0.731721 0.317225
Jim 0.550551 3.201369 0.669713 0.725751 0.577687
Travis -2.013278 -2.010304 0.117713 -0.545000 -1.228323
>>> people.ix[2:3, ['b', 'c']] = np.nan
假設已知列的分組關係，並但願根據分組計算列的總計：
>>> mapping = {'a':'red', 'b':'red', 'c':'blue',
... 'd':'blue', 'e':'red', 'f':'orange'}
>>> mapping
{'a': 'red', 'c': 'blue', 'b': 'red', 'e': 'red', 'd': 'blue', 'f': 'orange'}
>>> type(mapping)
<type 'dict'>
如今，只需將這個字典傳給groupby便可：
>>> by_column = people.groupby(mapping, axis=1)
>>> by_column
<pandas.core.groupby.DataFrameGroupBy object at 0x066150F0>
>>> by_column.sum()
blue red
Joe -1.278973 -0.006092
Steve -0.885102 1.089908
Wes 0.731721 1.732554
Jim 1.395465 4.329606
Travis -0.427287 -5.251905
Series也有一樣的功能，它能夠被看作一個固定大小的映射。對於上面那個例子，若是用Series做爲分組鍵，則pandas會檢查Series以確保其索引跟分組軸是對齊的：
>>> map_series = pd.Series(mapping)
>>> map_series
a red
b red
c blue
d blue
e red
f orange
dtype: object
>>> people.groupby(map_series, axis=1).count()
blue red
Joe 2 3
Steve 2 3
Wes 1 2
Jim 2 3
Travis 2 3
七、經過函數進行分組
相較於字典或Series，Python函數在定義分組映射關係時能夠更有創意且更爲抽象。任何被當作分組鍵的函數都會在各個索引值上被調用一次，其返回值就會被用做分組名稱。
具體點說，以DataFrame爲例，其索引值爲人的名字。假設你但願根據人名的長度進行分組，雖然能夠求取一個字符串長度數組，但其實僅僅傳入len函數便可：
>> people.groupby(len).sum()
a b c d e
3 2.272216 3.061938 0.879741 -0.031529 0.721914
5 0.998335 0.494229 0.337624 -1.222726 -0.402655
6 -2.013278 -2.010304 0.117713 -0.545000 -1.228323
將函數跟數組、列表、字典、Series混合使用也不是問題，由於任何東西最終都會被轉換爲數組：
>>> key_list = ['one', 'one', 'one', 'two', 'two']
>>> people.groupby([len, key_list]).min()
a b c d e
3 one 0.306336 -0.139431 0.210028 -1.489001 -0.172998
two 0.550551 3.201369 0.669713 0.725751 0.577687
5 one 0.998335 0.494229 0.337624 -1.222726 -0.402655
6 two -2.013278 -2.010304 0.117713 -0.545000 -1.228323
八、根據索引級別分組
層次化索引數據集最方便的地方在於它可以根據索引級別進行聚合。要實現該目的，經過level關鍵字傳入級別編號或名稱便可：
>>> columns = pd.MultiIndex.from_arrays([['US', 'US', 'US', 'JP', 'JP'], ... [1, 3, 5, 1, 3]], names=['cty', 'tenor']) >>> columns MultiIndex [US 1, 3, 5, JP 1, 3] >>> hier_df = pd.DataFrame(np.random.randn(4, 5), columns=columns) >>> hier_df cty US JP tenor 1 3 5 1 3 0 -0.166600 0.248159 -0.082408 -0.710841 -0.097131 1 -1.762270 0.687458 1.235950 -1.407513 1.304055 2 1.089944 0.258175 -0.749688 -0.851948 1.687768 3 -0.378311 -0.078268 0.247147 -0.018829 0.744540 >>> hier_df.groupby(level='cty', axis=1).count() cty JP US 0 2 3 1 2 3 2 2 3 3 2 3
- 1. pandas聚合和分組運算之groupby
- 2. Pandas之--聚合技術（GroupBy技術）
- 3. python/pandas數據挖掘（十四）-groupby,聚合，分組級運算
- 4. 數據分組技術GroupBy和聚合技術Aggregation
- 5. Pandas Groupby:分割，應用和組合
- 6. pandas分組聚合
- 7. pandas-分組聚合
- 8. Pandas | 18 GroupBy 分組
- 9. 數據分組技術GroupBy
- 10. pandas - 分組與聚合
- 更多相關文章...
- • PHP NULL 合併運算符 - PHP 7 新特性
- • XML 相關技術 - XML 教程
- • 三篇文章瞭解 TiDB 技術內幕 —— 說計算
- • 算法總結-二分查找法
-
每一个你不满意的现在，都有一个你没有努力的曾经。