【Python筆記】十分鐘搞定pandas

本文是對pandas官方網站上《10 Minutes to pandas》的一個簡單的翻譯，原文在這裏。這篇文章是對pandas的一個簡單的介紹，詳細的介紹請參考：Cookbook 。習慣上，咱們會按下面格式引入所須要的包：

1、            建立對象

能夠經過 Data Structure Intro Setion 來查看有關該節內容的詳細信息。

1、能夠經過傳遞一個list對象來建立一個Series，pandas會默認建立整型索引：

2、經過傳遞一個numpy array，時間索引以及列標籤來建立一個DataFrame：

3、經過傳遞一個可以被轉換成相似序列結構的字典對象來建立一個DataFrame：

4、查看不一樣列的數據類型：

5、若是你使用的是IPython，使用Tab自動補全功能會自動識別全部的屬性以及自定義的列，下圖中是全部可以被自動識別的屬性的一個子集：

2、            查看數據

詳情請參閱：Basics Section

 

一、  查看frame中頭部和尾部的行：

二、  顯示索引、列和底層的numpy數據：

三、  describe()函數對於數據的快速統計彙總：

四、  對數據的轉置：

五、  按軸進行排序

六、  按值進行排序

3、            選擇

雖然標準的Python/Numpy的選擇和設置表達式都可以直接派上用場，可是做爲工程使用的代碼，咱們推薦使用通過優化的pandas數據訪問方式： .at, .iat, .loc, .iloc 和 .ix詳情請參閱Indexing and Selecing Data 和MultiIndex / Advanced Indexing。

l  獲取

一、 選擇一個單獨的列，這將會返回一個Series，等同於df.A：

二、 經過[]進行選擇，這將會對行進行切片

l  經過標籤選擇

一、 使用標籤來獲取一個交叉的區域

二、 經過標籤來在多個軸上進行選擇

三、 標籤切片

四、 對於返回的對象進行維度縮減

五、 獲取一個標量

六、 快速訪問一個標量（與上一個方法等價）

l  經過位置選擇

一、 經過傳遞數值進行位置選擇（選擇的是行）

二、 經過數值進行切片，與numpy/python中的狀況相似

三、 經過指定一個位置的列表，與numpy/python中的狀況相似

四、 對行進行切片

五、 對列進行切片

六、 獲取特定的值

l  布爾索引

一、 使用一個單獨列的值來選擇數據：

二、 使用where操做來選擇數據：

三、 使用isin()方法來過濾：

 

l  設置

一、 設置一個新的列：

二、 經過標籤設置新的值：

三、 經過位置設置新的值：

四、 經過一個numpy數組設置一組新值：

上述操做結果以下：

五、 經過where操做來設置新的值：（必須數值型，存在字符串列會出錯！）

4、            缺失值處理

在pandas中，使用np.nan來代替缺失值，這些值將默認不會包含在計算中，詳情請參閱：Missing Data Section。

一、  reindex()方法能夠對指定軸上的索引進行改變/增長/刪除操做，這將返回原始數據的一個拷貝：、

二、  去掉包含缺失值的行：

三、  對缺失值進行填充：

四、  對數據進行布爾填充：

5、            相關操做

詳情請參與 Basic Section On Binary Ops

l  統計（相關操做一般狀況下不包括缺失值）

一、  執行描述性統計：

二、  在其餘軸上進行相同的操做：

三、  對於擁有不一樣維度，須要對齊的對象進行操做。Pandas會自動的沿着指定的維度進行廣播：

l  Apply

一、  對數據應用函數：

l  直方圖

具體請參照：Histogramming and Discretization

 

l  字符串方法

Series對象在其str屬性中配備了一組字符串處理方法，能夠很容易的應用到數組中的每一個元素，以下段代碼所示。更多詳情請參考：Vectorized String Methods.

6、            合併

Pandas提供了大量的方法可以輕鬆的對Series，DataFrame和Panel對象進行各類符合各類邏輯關係的合併操做。具體請參閱：Merging section

l  Concat

l  Join 相似於SQL類型的合併，具體請參閱：Database style joining

l  Append 將一行鏈接到一個DataFrame上，具體請參閱Appending：

7、            分組

對於」group by」操做，咱們一般是指如下一個或多個操做步驟：

l  （Splitting）按照一些規則將數據分爲不一樣的組；

l  （Applying）對於每組數據分別執行一個函數；

l  （Combining）將結果組合到一個數據結構中；

詳情請參閱：Grouping section

一、  分組並對每一個分組執行sum函數：

二、  經過多個列進行分組造成一個層次索引，而後執行函數：

8、            Reshaping

詳情請參閱 Hierarchical Indexing 和 Reshaping。

l  Stack

l  數據透視表，詳情請參閱：Pivot Tables.

能夠從這個數據中輕鬆的生成數據透視表：

9、            時間序列

Pandas在對頻率轉換進行從新採樣時擁有簡單、強大且高效的功能（如將按秒採樣的數據轉換爲按5分鐘爲單位進行採樣的數據）。這種操做在金融領域很是常見。具體參考：Time Series section。

一、  時區表示：

二、  時區轉換：

三、  時間跨度轉換：

四、  時期和時間戳之間的轉換使得可使用一些方便的算術函數。

10、            Categorical

從0.15版本開始，pandas能夠在DataFrame中支持Categorical類型的數據，詳細 介紹參看：categorical introduction和API documentation。

一、  將原始的grade轉換爲Categorical數據類型：

二、  將Categorical類型數據重命名爲更有意義的名稱：

三、  對類別進行從新排序，增長缺失的類別：

四、  排序是按照Categorical的順序進行的而不是按照字典順序進行：

五、  對Categorical列進行排序時存在空的類別：

11、           畫圖

具體文檔參看：Plotting docs

對於DataFrame來講，plot是一種將全部列及其標籤進行繪製的簡便方法：

12、           導入和保存數據

l  CSV，參考：Writing to a csv file

一、  寫入csv文件：

二、  從csv文件中讀取：

l  HDF5，參考：HDFStores

一、  寫入HDF5存儲：

二、  從HDF5存儲中讀取：

l  Excel，參考：MS Excel

一、  寫入excel文件：

二、  從excel文件中讀取：

來源： http://www.cnblogs.com/chaosimple/p/4153083.html

 

附：練習筆記：

1. import pandas as pd;
2. import numpy as np;
3. import matplotlib.pyplot as plt;
5. dates= pd.date_range('20130101',periods=6)
6. df=pd.DataFrame({'A':1,
7. 'B':pd.Timestamp('20130102'),
8. 'C':pd.Series(1,index=list(range(4)),dtype='float32'),
9. 'D':np.array([3]*4,dtype='int32'),
10. 'E':pd.Categorical(["test","train","test","train"]),
11. 'F':'foo'})
12. df=pd.DataFrame(np.random.randn(6,4),index=dates,columns=list('ABCD'))#6行4列
13. """ A B C D
14. 2013-01-01 -1.107551 0.195271 -1.230686 -0.484630
15. 2013-01-02 0.865845 -1.511340 -1.534180 2.054369
16. 2013-01-03 0.904075 -0.336863 -0.718355 0.124269
17. 2013-01-04 0.508006 -0.375838 -1.626099 0.834180
18. 2013-01-05 0.577990 1.005768 -1.883421 -0.460858
19. 2013-01-06 -0.750353 -1.296683 -0.627696 -1.204832
20. """
21. df.head(6);
22. df.index
23. df.columns
24. df.values
25. df.describe()
26. df.T
28. help(pd.DataFrame.sort_index)
29. df.sort_index(axis=1,ascending=False)#axis=0是按行序號排序，1位按列序號排序
30. df.sort(columns='B')
32. df[0:3]#單獨按行或者按列，返回數據框,[0:3]是第0行到第2行，不包括第3行！
33. df.loc[dates[0],:]#多軸選擇，按字段名
34. df.iloc[0,:]#多軸選擇，按索引序號
35. df.at[dates[0],'A']#單獨選擇一個值，按字段名
36. df.iat[0,0]#單獨選擇一個值，按索引序號
38. df[df.A>0]
39. df[df>0]
41. df2=df.copy()#深拷貝
42. df2['E']=['one','one','two','three','four','three']
43. df2.loc[dates[0],'E']='124'
44. df2[df2['E'].isin(['124','three'])]
46. s1=pd.Series([1,2,3,4,5,6],index=pd.date_range('20130102',periods=6))
47. df['F']=s1
48. df.loc[:,'D']=np.array([5]*len(df))
50. df2=df2.loc[:,['A','B','C','D']]
51. df2[df2>0]=-df2
53. df1=df.reindex(index=dates[0:4],columns=list(df.columns)+['E'])
54. df1.loc[dates[0]:dates[1],'E']=1
56. df1.dropna(how='any')#去掉包含缺失值的行
57. df1.fillna(value=5)
58. pd.isnull(df1)
60. df.mean(1)#表明按行平均
62. s=pd.Series([1,3,5,np.nan,6,8],index=dates).shift(2)#向下偏倚2個單位
63. df.apply(np.cumsum)#列累加
64. df.apply(lambda x: x.max()-x.min())#列最大最小相減
67. s=pd.Series(np.random.randint(0,7,size=10))#取值範圍[最小值，最大值]的整型個數
68. s.value_counts()#統計詞頻，和R中的table同樣
70. s=pd.Series(['A','B','C','Aaba','Baca',np.nan,'caba','dog','cat'])
71. s.str.lower()#小寫輸出，原s未變
74. pieces=[df[:2],df[2:4],df[4:]]
75. pd.concat(pieces)#鏈接
77. left=pd.DataFrame({'key':['foo','foo'],'lval':[1,2]})
78. right=pd.DataFrame({'key':['foo','foo'],'rval':[4,5]})
79. pd.merge(left,right,on='key')#全鏈接
81. df=pd.DataFrame(np.random.randn(8,4),columns=['A','B','C','D'])
82. s=df.iloc[3]
83. df.append(s,ignore_index=True)#尾部添加一行
86. df.groupby(['D','F']).sum()#SQL裏的分組聚合
88. #R語言的reshape
89. tuples=list(zip(*[['bar','bar','baz','baz',
90. 'foo','foo','qux','qux'],
91. ['one','two','one','two',
92. 'one','two','one','two']]))#返回一系列元組，每一個對應組的第i個
94. index=pd.MultiIndex.from_tuples(tuples,names=['first','second'])
95. df2=pd.DataFrame(np.random.randn(8,2),index=index,columns=['A','B'])
96. stacked=df2.stack()#寬變長
97. stacked.unstack(0)#長變寬,把第0列變寬
99. df['A1']=['one','one','one','two','two','two']
100. df['A2']=['first','first','second','first','third','first']
101. df['A3']=['hee','hee','sec','sec','sec','hee']
102. pd.pivot_table(df,values='A',index=['A2','A3'],columns=['A1'])#透視表，
104. #時間
105. rng=pd.date_range('1/1/2012',periods=100,freq='S')#精確到秒
106. ts=pd.Series(np.random.randint(0,500,len(rng)),index=rng)
107. ts.resample('5Min',how='sum')#重採樣
109. rng=pd.date_range('3/6/2012',periods=5,freq='D')
110. ts=pd.Series(np.random.randn(len(rng)),rng)
111. ts_utc=ts.tz_localize('UTC')#時區
112. ts_utc.tz_convert('US/Eastern')#時區轉換
114. rng=pd.date_range('3/6/2012',periods=5,freq='M')
115. ts=pd.Series(np.random.randn(len(rng)),rng)
116. ps=ts.to_period()#?時間跨度轉換
117. ps.to_timestamp()#?所有轉換爲1號的
119. prng=pd.period_range('1990Q1','2000Q4',freq='Q-NOV')
120. ts=pd.Series(np.random.randn(len(prng)),prng)
121. ts.index=(prng.asfreq('M','e')+1).asfreq('H','s')+9#!!!!
123. df=pd.DataFrame({"id":[1,2,3,4,5,6],"raw_grade":['a','b','b','a','a','e']})
124. df["grade"]=df["raw_grade"].astype("category")#相似R裏面的factor因子
125. df.dtypes
127. df["grade"].cat.categories=["very good","good","very bad"]#因子等級名稱換了,cat是Categorical的縮寫?或者是返回？
128. df["grade"]=df["grade"].cat.set_categories(["very bad","bad","medium","good","very good"])
129. #因子等級排序，pd.Categorical.set_categories
131. df.groupby("grade").size()
134. ts=pd.Series(np.random.randn(1000),index=pd.date_range('1/1/2000',periods=1000))
135. ts=ts.cumsum()
137. ts.plot(grid=True)#grid添加網格參數
139. df=pd.DataFrame(np.random.randn(1000,4),index=ts.index,columns=['A','B','C','D'])
140. df=df.cumsum()
141. plt.figure();#？啥做用
142. df.plot();
143. plt.legend(loc='best')#沒圖？
145. df.to_csv('test.csv')#寫入df
146. pd.read_csv('test.csv')#讀文件"test.csv"

 

 

 

來自爲知筆記(Wiz)