[新手-數據分析師]pandas的學習筆記

pandas經常使用的函數有這些：

pd.DataFrame

pd.Series

pd.read_csv

pd.concat

pd.Timestamp

pd.to_datetime

pd.date_range

pd.index

pd.merge

先從實際上可以用獲得的函數開始學起走，而後遇到問題再查詢幫助文檔吧！

##pd.DataFrame 建立一個DataFrame對象，相似excle裏面建立一張表。

df = pd.DataFrame(data={'y':[1,2,3],
						'score':[93,89,90],
						'name':['dire','pauli','bohr'],
						'birthday':['1992-08-08','1990-04-23','1998-10-07']})

print(type(df))
print(df.dtypes)

class pandas.DataFrame(data=None, index=None, columns=None, dtype=None, copy=False)

data爲numpy，ndarray (structured or homogeneous), dict, or DataFrame

Dict能夠是Series, arrays, constants, objects類型

copy是從輸入內容中copy數據。感受解釋不清楚，仍是引入官方解釋吧：Copy data from inputs. Only affects DataFrame / 2d ndarray input。

更多細節參考：參考資料

##pd.Series

s = pd.Series([1,2,3,np.nan,5,6])
s1 = pd.Series(np.random.randn(5), index=['a', 'b', 'c', 'd', 'e'])
print(s)
print(s1)

class pd.Series(data, index=index)

data爲 dict， ndarray，a scalar value (like 5)

##pd.read_csv

df = pd.read_csv('test.csv',sep=',',encoding='utf8')
print(type(df))

不作過多介紹，記住sep和encoding參數。

更多細節參考：參考資料

pandas讀取其餘格式 read_excel,read_hdf,read_sql,read_json,read_html,read_msgpack,read_gbq,read_stata,read_sas,read_clipboard,read_pickle

pandas保存文件 to_csv,to_excel,to_hdf,to_sql,to_json,to_html,to_msgpack,to_gbq,to_stata,to_sas,to_clipboard,to_pickle

##pd.merge/pd.concat/

• pd.merge 鍵拼接列
• pd.concat 可沿着一條軸將多個對象堆疊到一塊兒

left = pd.DataFrame({'key':['k0','k1','k2','k3'],
					'A':['A0','A1','A2','A3'],
					'B':['B0','B1','b2','B3']})
right = pd.DataFrame({'key':['k0','k1','k2','k3'],
					'C':['C0','C1','C2','C3'],
					'D':['D0','D1','D2','D3']})
print(left)
print(right)
res = pd.merge(left,right,on='key')
print(res)

pandas.merge(left, right, how='inner', on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort=False, suffixes=('_x', '_y'), copy=True, indicator=False)

left與right：兩個不一樣的DataFrame

how：指的是合併(鏈接)的方式有inner(內鏈接),left(左外鏈接),right(右外鏈接),outer(全外鏈接);默認爲inner

on : 指的是用於鏈接的列索引名稱。必須存在右右兩個DataFrame對象中，若是沒有指定且其餘參數也未指定則以兩個DataFrame的列名交集作爲鏈接鍵

left_on：左則DataFrame中用做鏈接鍵的列名;這個參數中左右列名不相同，但表明的含義相同時很是有用

right_on：右則DataFrame中用做 鏈接鍵的列名

left_index：使用左則DataFrame中的行索引作爲鏈接鍵

right_index：使用右則DataFrame中的行索引作爲鏈接鍵

sort：默認爲True，將合併的數據進行排序。在大多數狀況下設置爲False能夠提升性能

suffixes：字符串值組成的元組，用於指定當左右DataFrame存在相同列名時在列名後面附加的後綴名稱，默認爲('_x','_y')

copy：默認爲True,老是將數據複製到數據結構中；大多數狀況下設置爲False能夠提升性能

indicator：顯示合併數據中來源；如只來本身於左邊(left_only)、二者(both)

left = pd.DataFrame({'key1':['k0','k1','k2','k3'],
					'key2':['k0','k1','k0','k1'],
					'A':['A0','A1','A2','A3'],
					'B':['B0','B1','b2','B3']})
right = pd.DataFrame({'key1':['k0','k1','k2','k3'],
					'key2':['k0','k0','k0','k0'],
					'C':['C0','C1','C2','C3'],
					'D':['D0','D1','D2','D3']})
print(left)
print(right)
res = pd.merge(left,right,on=['key1','key2'],how='outer')
print(res)

體驗how的合併(鏈接)的方式有inner(內鏈接),left(左外鏈接),right(右外鏈接),outer(全外鏈接)，默認爲inner。

df1 = pd.DataFrame({'col1':[0,1],
					'col_left':['a','b']})
df2 = pd.DataFrame({'col1':[1,2,2],
					'col_right':[2,2,2]})
print(df1)
print(df2)
res1 = pd.merge(df1,df2,on='col1',how='outer',indicator=True)
res2 = pd.merge(df1,df2,on='col1',how='outer',indicator='column_merge')
print(res1)
print(res2)

 這個主意解釋indicator的做用

更多細節參考：merge參考資料

df1 = pd.DataFrame(np.ones((3,4))*0,columns=['a','b','c','d'])
df2 = pd.DataFrame(np.ones((3,4))*1,columns=['a','b','c','d'])
df3 = pd.DataFrame(np.ones((3,4))*2,columns=['a','b','c','d'])

print(df1)
print(df2)
print(df3)

res = pd.concat([df1,df2,df3],axis=0,ignore_index=True)
print(res)

andas.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False, keys=None, levels=None, names=None, verify_integrity=False, copy=True)

concat方法至關於數據庫中的全鏈接(UNION ALL),能夠指定按某個軸進行鏈接,也能夠指定鏈接的方式join(outer,inner 只有這兩種)。默認outer，outer保留兩個不一樣列數據，沒有的添加nan代替。inner相對於裁剪掉兩個合併元素中沒有的。解釋太麻煩，運營代碼看案例吧！

df1 = pd.DataFrame(np.ones((3,4))*0,columns=['a','b','c','d'])
df2 = pd.DataFrame(np.ones((3,4))*1,columns=['b','c','d','e'])
res_outer = pd.concat([df1,df2])
res_inner = pd.concat([df1,df2],join='inner',ignore_index=True)
print(res_outer)
print(res_inner)

igore_index=False表示不更改index，而爲Ture表示，從新排序。能夠去掉上面中ignore_index=True試試效果。

df1 = pd.DataFrame(np.ones((3,4))*0,columns=['a','b','c','d'],index=[1,2,3])
df2 = pd.DataFrame(np.ones((3,4))*1,columns=['b','c','d','e'],index=[2,3,4])
res1 = pd.concat([df1,df2],axis=1)
res2 = pd.concat([df1,df2],axis=1,join_axes=[df1.index])
print(res1)
print(res2)

jion_axes，主要是在左右合併中考慮哪一個做爲主要index。

更多細節參考：merge參考資料

未完，還將繼續更新中...

這兩天開通了本身的博客，nigaea.com，歡迎來擾！