pandas快速入門 《pandas10 Minutes to pandas》

 

結構化數據分析

 

pandas核心數據結構和基礎運算
　　Series   DataFrame

pandas高級內容
　　索引和數據選擇
　　分組統計
　　時間系列
　　數據IO

 

pandas快速入門

《10 Minutes to pandas》

 

建立數據

#導入模塊包
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

#建立數據

s = pd.Series([1,3,5,np.nan,6,8])  #經過列表，建立Series
dates = pd.date_range('20130101', periods=6) #經過時間系列，建立DataFrame
df = pd.DataFrame(np.random.randn(6,4), index=dates, columns=list('ABCD'))
df2 = pd.DataFrame({ 'A' : 1.,
                    'B' : pd.Timestamp('20130102'),
                    'C' : pd.Series(1,index=list(range(4)),dtype='float32'),
                    'D' : np.array([3] * 4,dtype='int32'),
                    'E' : pd.Categorical(["test","train","test","train"]),
                    'F' : 'foo' })  #經過字典，建立DataFrame
print(df2.dtypes)  #查看數據類型，dtype報錯
print(s.dtype)  #dtype和dtypes均可以

 

 

查看數據

 

#查看數據

df.head() #查看起始前5個數據，默認5
df.tail(3) #查看最末尾3個數據
df.index  #查看索引,不是df.index()
df.columns  #查看列名
df.values   #查看值
df.describe()  #簡單的統計描述
df.T  #轉置
df.sort_index(axis=1,ascending=False) #經過軸排序
df.sort_values(by='B') #經過值排序

 

 

數據選取

• 經過標籤選取
• 經過位置選取
• 經過布林值索引選取

 

雖然標準的Python/Numpy的選擇和設置表達式都可以直接派上用場，可是做爲工程使用的代碼，推薦使用通過優化的pandas數據訪問方式： .at, .iat, .loc, .iloc 和 .ix詳情請參閱Indexing and Selecing Data 和 MultiIndex / Advanced Indexing。

 

#數據選取

df['A']  #選取A列,'A'是列名稱，等同於df.A
df[0:3]  #選取前3行，切片數據[:]
df['20130102':'20130104']  #經過行標籤選擇

經過標籤選取

df.loc[dates[0]]  #獲取第一行的交叉數據
df.loc[:,['A','B']]  #只選擇'A'和'B'兩列的數據
df.loc['20130102':'20130104',['A','B']]  #選取特定行區間和列區間的值
df.loc['20130102',['A','B']]
df.loc[dates[0],'A']  #選取特定的值  df.loc['20130101','A']
df.at[dates[0],'A']  #at的效率高於loc，%timeit df.at[dates[0],'A'] 與 %timeit df.loc[dates[0],'A']  對比


經過位置選取

df.iloc[3]  #經過數字的標籤選取某行
df.iloc[3:5,0:2]   #
df.iloc[[1,2,4],[0,2]]
df.iloc[1:3,:]
df.iloc[:,1:3]  #選取全部的行，某幾列
df.iloc[1,1]
df.iat[1,1]

經過布林值索引選取

df[df.A > 0]
df[df > 0]  #選取表中全部大於0的元素
df2 = df.copy()
df2['E'] = ['one', 'one','two','three','four','three']
df2[df2['E'].isin(['two','four'])]  # 數據過濾

 

 

設置

 

s1 = pd.Series([1,2,3,4,5,6], index=pd.date_range('20130102', periods=6)) #建立一個新列
df.at[dates[0],'A'] = 0  #經過標籤修改元素
df.iat[0,1] = 0  #經過位置修改元素
df.loc[:,'D'] = np.array([5] * len(df))  # numpy array，修改元素
df2 = df.copy()
df2[df2 > 0] = -df2  # 經過where操做來設置新的值

 

 

缺失值處理

 

在pandas中，使用np.nan來代替缺失值，這些值將默認不會包含在計算中，詳情請參閱：Missing Data Section。

 

df1 = df.reindex(index=dates[0:4], columns=list(df.columns) + ['E']) 
df1.loc[dates[0]:dates[1],'E'] = 1 # reindex()對指定軸上的索引進行改變/增長/刪除操做
df1.dropna(how='any')  #去掉包含缺失值的行
df1.fillna(value=5)  #缺失值填充
pd.isnull(df1)  #布爾值查看是否有缺失值，缺失值True

 

基本操做

參照 Basic Section On Binary Ops

 

統計

空數據不參與計算

df.mean()  #平均值
df.mean(1)  #按行求平均值
s = pd.Series([1,3,5,np.nan,6,8], index=dates).shift(2)
df.sub(s, axis='index')  #按行相減，對於擁有不一樣維度，須要對齊的對象進行操做。Pandas會自動的沿着指定的維度進行廣播
df.cumsum() #求累加值，空值不參與計算

 

Apply方法

df.apply(np.cumsum) #按列累加
df.apply(lambda x: x.max() - x.min())  #lambda函數，最大值減去最小值

 

直方圖

詳情請查看Histogramming and Discretization

s = pd.Series(np.random.randint(0, 7, size=10)) #在0-7之間建立10個隨機數
s.value_counts()  #每一個數值有多少個

 

字符串方法

Series對象在其str屬性中配備了一組字符串處理方法，能夠很容易的應用到數組中的每一個元素，以下段代碼所示。更多詳情請參考：Vectorized String Methods.

s = pd.Series(['A', 'B', 'C', 'Aaba', 'Baca', np.nan, 'CABA', 'dog', 'cat'])
s.str.lower()  #變小寫

 

 

數據合併

• Concat
• Join
• Append

 

Pandas提供了大量的方法可以輕鬆的對Series，DataFrame和Panel對象進行各類符合各類邏輯關係的合併操做。具體請參閱：Merging section

 

Concat

df = pd.DataFrame(np.random.randn(10, 4))
pieces = [df[:3], df[3:7], df[7:]] #前3行，4-7行，7到最後
df1 = pd.concat(pieces) #將全部數據合併起來，還原成原來的數據集  df1 == df,（df == df1）.all().all(),驗證是否相同

 

Join 

相似於SQL類型的合併，具體請參閱：Database style joining

left = pd.DataFrame({'key': ['foo', 'foo'], 'lval': [1, 2]})
right = pd.DataFrame({'key': ['foo', 'foo'], 'rval': [4, 5]})
pd.merge(left, right, on='key')  #等價SQL語句 select * from left inner jion right on left.key=right.key;

left = pd.DataFrame({'key': ['foo', 'bar'], 'lval': [1, 2]})
right = pd.DataFrame({'key': ['foo', 'bar'], 'rval': [4, 5]})
pd.merge(left, right, on='key')

 

Append

一行鏈接到一個DataFrame上，具體請參閱Appending

df = pd.DataFrame(np.random.randn(8, 4), columns=['A','B','C','D'])
s = df.iloc[3]
df.append(s, ignore_index=True)  #直接插入一行

 

 

分組統計

對於」group by」操做，咱們一般是指如下一個或多個操做步驟：

• Splitting：按照一些規則將數據分爲不一樣的組；
• Applying：對於每組數據分別執行一個函數；
• Combining：將結果組合到一個數據結構中；

詳情請參閱：Grouping section

df = pd.DataFrame({'A' : ['foo', 'bar', 'foo', 'bar','foo', 'bar', 'foo', 'foo'],
                   'B' : ['one', 'one', 'two', 'three','two', 'two', 'one', 'three'],
                   'C' : np.random.randn(8),
                   'D' : np.random.randn(8)})
df.groupby('A').sum()  #經過'A'列分組，而後求和
df.groupby(['A','B']).sum()  #雙重索引分組，而後求和

 

 

數據整型

詳情請參閱 Hierarchical Indexing 和 Reshaping。

 

stack方法

tuples = list(zip(*[['bar', 'bar', 'baz', 'baz','foo', 'foo', 'qux', 'qux'],
                    ['one', 'two', 'one', 'two','one', 'two', 'one', 'two']]))
index = pd.MultiIndex.from_tuples(tuples, names=['first', 'second']) #雙重索引，並命名爲first和second
df = pd.DataFrame(np.random.randn(8, 2), index=index, columns=['A', 'B'])
df2 = df[:4]
stacked = df2.stack() #行和列轉換
stacked.unstack()  #行和列再次轉換回來，恢復
stacked.unstack(1)
stacked.unstack(0)

 

數據透視表

詳情請參閱：Pivot Tables.

df = pd.DataFrame({'A' : ['one', 'one', 'two', 'three'] * 3,
                   'B' : ['A', 'B', 'C'] * 4,
                   'C' : ['foo', 'foo', 'foo', 'bar', 'bar', 'bar'] * 2,
                   'D' : np.random.randn(12),
                   'E' : np.random.randn(12)})
pd.pivot_table(df, values='D', index=['A', 'B'], columns=['C']) #'A''B'爲行，'C'爲列，‘D’的值
df.pivot_talbe(values=['E'],index=['A'],columns=['C'])#A爲行，C爲列，E的值 ,df(df.A=='one').groupby('C').mean()

 

 

 

時間序列

Pandas在對頻率轉換進行從新採樣時擁有簡單、強大且高效的功能（如將按秒採樣的數據轉換爲按5分鐘爲單位進行採樣的數據）。這種操做在金融領域很是常見。

具體參照：Time Series section

rng = pd.date_range('1/1/2012', periods=100, freq='S')  #100個以秒爲單位的數據
ts = pd.Series(np.random.randint(0, 500, len(rng)), index=rng)
ts.resample('5Min').sum()  #從新採樣


rng = pd.date_range('3/6/2012 00:00', periods=5, freq='D')
ts = pd.Series(np.random.randn(len(rng)), rng)
ts_utc = ts.tz_localize('UTC')

ts_utc.tz_convert('US/Eastern')

rng = pd.date_range('1/1/2012', periods=5, freq='M')
ts = pd.Series(np.random.randn(len(rng)), index=rng)
ps = ts.to_period()
ps.to_timestamp()


prng = pd.period_range('1990Q1', '2000Q4', freq='Q-NOV')
ts = pd.Series(np.random.randn(len(prng)), prng)
ts.index = (prng.asfreq('M', 'e') + 1).asfreq('H', 's') + 9


pd.Timestamp('20170422') - pd.Timestamp('20170206')
pd.Timestamp('20170422') + pd.Timestamp('days = 5')