20個Pandas函數詳解

做者|Soner Yıldırım
編譯|VK
來源|Towards Data Science

Pandas是一個python數據分析庫。它提供了許多函數和方法來加快數據分析過程。pandas之因此如此廣泛，是由於它具備強大的功能，以及他簡單的語法和靈活性。

在這篇文章中，我將舉例來解釋20個經常使用的pandas函數。有些是很常見的，我敢確定你之前用過。有些對你來講多是新的。全部函數都將爲你的數據分析過程增長價值。

import numpy as np
import pandas as pd

1.query

咱們有時須要根據條件過濾一個數據幀。過濾數據幀的一個簡單方法是query函數。讓咱們首先建立一個示例數據幀。

values_1 = np.random.randint(10, size=10)
values_2 = np.random.randint(10, size=10)
years = np.arange(2010,2020)
groups = ['A','A','B','A','B','B','C','A','C','C']
df = pd.DataFrame({'group':groups, 'year':years, 'value_1':values_1, 'value_2':values_2})
df

使用查詢函數很是簡單，只須要編寫過濾條件。

df.query('value_1 < value_2')

2.insert

當咱們想向dataframe添加一個新列時，默認狀況下會在末尾添加它。可是，pandas提供了使用insert函數使得咱們能夠在任何位置添加新列。

咱們須要經過傳遞索引做爲第一個參數來指定位置。此值必須是整數。列索引從零開始，就像行索引同樣。第二個參數是列名，第三個參數是對象，這些對象能夠是Series 或數組。

#新建列
new_col = np.random.randn(10)
#在位置2插入新列
df.insert(2, 'new_col', new_col)
df

3.Cumsum

數據幀包含3個不一樣組的年份值。咱們可能只對某些狀況下的累積值感興趣。Pandas提供了一個易於使用的函數來計算累計和，即cumsum。

若是咱們只應用cumsum函數，group裏的（A，B，C）將被忽略，由於咱們沒法區分不一樣的組。咱們能夠應用groupby和cumsum函數，這樣就能夠區分出不一樣的組。

df['cumsum_2'] = df[['value_2','group']].groupby('group').cumsum()
df

4.Sample

Sample方法容許你從序列或數據幀中隨機選擇值。當咱們想從一個分佈中選擇一個隨機樣本時，它頗有用。

sample1 = df.sample(n=3)
sample1

咱們用n參數指定值的數目，但咱們也能夠將比率傳遞給frac參數。例如，0.5將返回一半的行。

sample2 = df.sample(frac=0.5)
sample2

爲了得到可重複的樣本，咱們可使用隨機的狀態參數。若是將整數值傳遞給random_state，則每次運行代碼時都將生成相同的示例。

5. Where

「Where」用於根據條件替換行或列中的值。默認的替換值是NaN，可是咱們也能夠指定替換的值。

df['new_col'].where(df['new_col'] > 0 , 0)

「where」的工做方式是選擇符合條件的值，其他值替換爲指定值。

where(df[‘new_col’]>0, 0)選擇「new_col」中大於0的全部值，其他值替換爲0。所以，這裏也能夠視爲掩碼操做。

重要的一點是，Pandas 和Numpy的「where」並不徹底相同。咱們能夠用稍微不一樣的語法來達到相同的效果。DataFrame.where按原數據選擇符合條件的值，其餘值將替換爲指定的值。Np.where還須要指定一個新數據。如下兩行返回相同的結果：

df['new_col'].where(df['new_col'] > 0 , 0)
np.where(df['new_col'] < 0, df['new_col'], 0)

6.Isin

在處理數據幀時，咱們常用過濾或選擇方法。Isin方法是一種先進的過濾方法。例如，咱們能夠根據選擇列表過濾值。

years = ['2010','2014','2017']
df[df.year.isin(years)]

7.Loc and iloc

Loc和iloc用於選擇行和列。

• loc：按標籤選擇
• iloc：按位置選擇

loc用於按標籤選擇數據。列的標籤是列名。行標籤要分狀況，若是咱們不分配任何特定的索引，pandas默認建立整數索引。iloc 按位置索引數據

使用iloc選擇前3行和前2列：

使用loc選擇前3行和前2列：

注：當使用loc時，切片獲得的結果包括索引的邊界，而使用iloc則不包括這些邊界。

8.Pct_change

此函數用於計算一系列值的變化百分比。假設咱們有一個包含[2,3,6]的序列。若是咱們對這個序列應用pct_change，則返回的序列將是[NaN，0.5，1.0]。

從第一個元素到第二個元素增長了50%，從第二個元素到第三個元素增長了100%。Pct_change函數用於比較元素時間序列中的變化百分比。

df.value_1.pct_change()

9.Rank

Rank函數爲值分配序。假設咱們有一個包含[1,7,5,3]的序列s。分配給這些值的序爲[1,4,3,2]。能夠用這些序做排序操做

df['rank_1'] = df['value_1'].rank()
df

10.Melt

Melt用於將寬數據幀轉換爲窄數據幀。我所說的wide是指具備大量列的數據幀。

一些數據幀的結構是連續的度量或變量用列表示。在某些狀況下，將這些列表示爲行可能更適合咱們的任務。考慮如下數據幀：

咱們有三個不一樣的城市，在不一樣的日子進行測量。咱們決定將這些日子表示爲列中的行。還將有一列顯示測量值。咱們能夠經過使用Melt函數輕鬆實現：

df_wide.melt(id_vars=['city'])

默認狀況下，會給出變量和值列名。咱們可使用melt函數的var_name和value_name參數來指定新的列名。

11.Explode

假設你的數據集在一個觀測(行)中包含一個要素的多個條目，但你但願在單獨的行中分析它們。

咱們想在不一樣的行上看到「day"1在ID爲c上的測量值，用explode來完成。

df1.explode('measurement').reset_index(drop=True)

12.Nunique

Nunique統計列或行上的惟一條目數。它在分類特徵中很是有用，特別是在咱們事先不知道類別數量的狀況下。讓咱們看看咱們的初始數據幀：

df.year.nunique()
10
df.group.nunique()
3

咱們能夠直接將nunique函數應用於dataframe，並查看每列中惟一值的數量：

若是axis參數設置爲1，nunique將返回每行中惟一值的數目。

13.lookup

它能夠用於根據其餘行-列對上的值在數據幀中查找值。假設咱們有如下數據幀：

天天，咱們有4我的的測量數據和一個列，其中包括這4我的的名字。

咱們要建立一個新列，該列顯示「person」列中人員對應他們的度量。所以，對於第一行，新列中的值將是4（「Alex」列中的值)。

df['Person_point'] = df.lookup(df.index, df['Person'])
df

14.Infer_objects

Pandas支持普遍的數據類型，其中之一就是object。對象包含文本或混合(數字和非數字)值。

可是，若是有其餘選項可用，則不建議使用對象數據類型。使用更具體的數據類型，某些操做執行得更快。例如，對於數值，咱們更喜歡使用整數或浮點數據類型。

infer_objects嘗試爲對象列推斷更好的數據類型。考慮如下數據幀：

df2.dtypes
A    object 
B    object 
C    object 
D    object 
dtype: object

全部的數據類型都是object。讓咱們看看推斷的數據類型是什麼：

df2.infer_objects().dtypes
A      int64 
B    float64 
C       bool 
D     object 
dtype: object

它可能看起來沒什麼用，但在有不少列時絕對有用。

15.Memory_usage

Memory_usage返回每行使用的內存量(以字節爲單位)。它很是有用，尤爲是當咱們處理大型數據幀時。考慮下面的數據幀，其中有一百萬行。

df_large = pd.DataFrame({'A': np.random.randn(1000000),
                    'B': np.random.randint(100, size=1000000)})
df_large.shape
(1000000, 2)

以及每列的內存使用狀況(以字節爲單位)：

df_large.memory_usage()
Index        128 
A        8000000 
B        8000000 
dtype: int64

整個數據幀的內存使用量（MB）：

df_large.memory_usage().sum() / (1024**2) 
15.2589111328125

16.Describe

描述函數計算數字列的基本統計信息，這些列包括計數、平均值、標準差、最小值和最大值、中值、第一個和第三個四分位數。所以，它提供了數據幀的統計摘要。

17.Merge

Merge()根據共享列中的值組合數據幀。考慮如下兩個數據幀。

咱們能夠根據列中的共享值合併它們。設置合併條件的參數是「on」參數。

df1和df2是基於column_a中的公共值進行合併的，merge函數的how參數容許以不一樣的方式組合數據幀。「內部」、「外部」、「左側」、「右側」的可能值。

• inner：僅在on參數指定的列中具備相同值的行（how參數的默認值)
• outer：全部行
• left：左數據幀中的全部行
• right：右數據幀中的全部行

相似於sql語句中的join

18.Select_dtypes

Select_dtypes函數根據對數據類型設置的條件返回數據幀列的子集。它容許使用include和exlude參數包含或排除某些數據類型。

df.select_dtypes(include='int64')

df.select_dtypes(exclude='int64')

19.replace

顧名思義，它容許替換數據幀中的值。

df.replace('A', 'A_1')

第一個參數是要替換的值，第二個參數是新值。

咱們也能夠在一個字典中同時進行多個替換。

df.replace({'A':'A_1', 'B':'B_1'})

20.Applymap

Applymap函數用於將函數應用於dataframe元素。

請注意，若是操做的向量化版本可用，那麼它應該優先於applymap。例如，若是咱們想將每一個元素乘以一個數字，咱們不須要也不該該使用applymap函數。在這種狀況下，簡單的向量化操做(例如df*4）要快得多。

然而，在某些狀況下，咱們可能沒法選擇向量化操做。例如，咱們可使用pandas dataframes的Style屬性來更改dataframe的樣式。如下函數將負值的顏色更改成紅色。

def color_negative_values(val):
   color = 'red' if val < 0 else 'black'
   return 'color: %s' % color

咱們須要使用applymap函數將此函數應用於數據幀。

df3.style.applymap(color_negative_values)

原文連接：https://towardsdatascience.co...

歡迎關注磐創AI博客站：
http://panchuang.net/

sklearn機器學習中文官方文檔：
http://sklearn123.com/

歡迎關注磐創博客資源彙總站：
http://docs.panchuang.net/