《利用python進行數據分析》之數據處理
In [1]:
import pandas as pd
import numpy as np
刪除缺失值¶
In [2]:
df = pd.DataFrame(np.random.randn(6,3))
df.iloc[:4,1] = np.NaN
df.iloc[:2,2] = np.NaN
df
Out[2]:
In [3]:
#有2個以上的nan才刪除
df.dropna(thresh=2)
Out[3]:
In [4]:
df.dropna(axis=1,thresh=3)
Out[4]:
In [7]:
df.duplicated()
Out[7]:
In [8]:
df.drop_duplicates()
Out[8]:
In [9]:
df.drop_duplicates(keep='last')
Out[9]:
In [10]:
df.drop_duplicates(['k2'])
Out[10]:
離散化和分箱¶
In [13]:
ages = [20,22,25,27,21,23,37,31,61,45,41,32]
bins = [18,25,35,60,100]
cats = pd.cut(ages,bins)
cats
Out[13]:
In [14]:
cats.codes #ages的數據標籤
Out[14]:
In [15]:
cats.categories
Out[15]:
In [16]:
pd.value_counts(cats)
Out[16]:
In [17]:
#改成左閉右開
pd.cut(ages,bins,right=False)
Out[17]:
In [18]:
#自定義箱名
pd.cut(ages,bins,labels=['Youth','YoungAdult','MiddleAged','Senior'])
Out[18]:
In [19]:
#定義箱子個數
data = np.random.rand(20)
pd.cut(data,4,precision=2)
Out[19]:
In [20]:
#根據樣本的分位數進行分箱
data = np.random.randn(1000)
cats = pd.qcut(data,4)
cats
Out[20]:
In [21]:
pd.value_counts(cats)
Out[21]:
In [22]:
#自定義分位數
pd.qcut(data,[0,0.1,0.5,0.9,1.])
Out[22]:
檢測和過濾異常值¶
In [23]:
data = pd.DataFrame(np.random.randn(1000,4))
#擁有絕對值大於3的行
data[(np.abs(data)>3).any(1)]
Out[23]:
In [24]:
data.iloc[500] = [4,5,6,-7]
#絕對值都大於3的行
data[(np.abs(data)>3).all(1)]
Out[24]:
In [25]:
np.sign(data).head()
Out[25]:
In [28]:
pd.get_dummies(df['key'])
Out[28]:
In [29]:
#一行屬於多個類別時，比較複雜
movies = pd.read_csv('datasets/movielens/movies.dat',sep='::',header= None,names=['movie_id','title','genres'])
movies.head()
Out[29]:
In [30]:
all_genres = []
for genres in movies['genres']:
all_genres.extend(genres.split('|'))
genres = pd.unique(all_genres)
In [31]:
genres
Out[31]:
In [32]:
count_df = pd.DataFrame(np.zeros(shape=(len(movies),len(genres))),columns=genres)
count_df.head()
Out[32]:
In [33]:
#遍歷分類能夠避免遍歷數據較多的movies，速度較快
for genre in genres:
count_df.loc[movies['genres'].str.contains(genre),genre] = 1
count_df.head()
Out[33]:
正則表達式¶
In [34]:
val = 'a,b, guido'
val.index(',')
Out[34]:
In [35]:
#index找不到時會報錯，find找不到時返回-1
val.find(':')
Out[35]:
In [36]:
import re
text = 'foo bar\t baz \tqux'
#正則表達式對象
regex = re.compile('\s+')
regex.findall(text)
Out[36]:
In [37]:
text = """Dave dave@google.com
Steve steve@gmail.com
Rob rob@gmail.com
Ryan ryan@yahoo.com
"""
#pattern里加上括號返回的是元組
pattern = r'([A-Z0-9._%+-]+)@([A-Z0-9.-]+)\.([A-Z]{2,4})'
regex = re.compile(pattern=pattern,flags=re.IGNORECASE)
regex.findall(text)
Out[37]:
In [38]:
print(regex.sub(r'Username:\1,Domain:\2,Suffix:\3',text))
數據合併¶
In [39]:
left = pd.DataFrame({'key':['a','b','a','a','b','c'],'value':range(6)})
left
Out[39]:
In [40]:
right = pd.DataFrame({'group_val':[3.5,7]},index=['a','b'])
right
Out[40]:
In [41]:
#使用right的行索引做爲它的鏈接鍵
pd.merge(left,right,left_on='key',right_index=True)
Out[41]:
In [42]:
#不存在相同索引時，能夠考慮concat
df1 = pd.DataFrame(np.arange(6).reshape(3,2),index=list('abc'),columns=['one','two'])
df1
Out[42]:
In [43]:
df2 = pd.DataFrame(np.arange(5,9).reshape(2,2),index=list('ac'),columns=['three','four'])
df2
Out[43]:
In [44]:
pd.concat([df1,df2],keys=['df1','df2'],sort=True)
Out[44]:
In [45]:
pd.concat([df1,df2],axis=1,keys=['df1','df2'],sort=True)
Out[45]:
In [46]:
#不保留原來的索引，而是產生新的索引
pd.concat([df1,df2],ignore_index=True,sort=True)
Out[46]:
In [47]:
df1 = pd.DataFrame({'a': [1., np.nan, 5., np.nan],
'b': [np.nan, 2., np.nan, 6.],
'c': range(2, 18, 4)})
df1
Out[47]:
In [48]:
df2 = pd.DataFrame({'a': [5., 4., np.nan, 3., 7.],
'b': [np.nan, 3., 4., 6., 8.]})
df2
Out[48]:
In [49]:
#至關於np.where(pd.isnull(a),b,a)
df1.combine_first(df2)
Out[49]:
In [51]:
periods = pd.PeriodIndex(year=data.year,quarter=data.quarter,name='date')
periods
Out[51]:
In [52]:
columns = pd.Index(['realgdp','infl','unemp'],name='item')
columns
Out[52]:
In [53]:
data = data.reindex(columns=columns)
data.head()
Out[53]:
In [54]:
data.index = periods.to_timestamp('D','e')
In [55]:
data.head()
Out[55]:
In [56]:
data = data.stack().reset_index().rename(columns={0:'value'})
data.head()
Out[56]:
In [57]:
data.pivot('date','item','value')[:5]#行，列，值
Out[57]:
In [58]:
df = pd.DataFrame({'key': ['foo', 'bar', 'baz'],
'A': [1, 2, 3],
'B': [4, 5, 6],
'C': [7, 8, 9]})
df
Out[58]:
In [59]:
#pivot的反向操做
pd.melt(df,['key'])
Out[59]:
相關文章
- 1. Python數據分析 | (11)利用NumPy數組進行數據處理
- 2. 利用python進行數據分析——之數據結構pandas（一）
- 3. 利用python進行數據分析
- 4. 《利用Python進行數據分析》 —— （1）
- 5. 《利用Python進行數據分析》 —— （2）
- 6. 【利用python進行數據分析——基礎篇】利用Python處理和分析Excel表中數據實戰
- 7. 利用python進入數據分析之MovieLens_1M數據分析
- 8. 利用python進入數據分析之usagov_bitly_data數據分析
- 9. 利用Python進行數據分析(10) pandas基礎: 處理缺失數據
- 10. 利用數組進行數據處理
- 更多相關文章...
- • SQLite 分離數據庫 - SQLite教程
- • SQL 通用數據類型 - SQL 教程
- • Flink 數據傳輸及反壓詳解
- • TiDB 在摩拜單車在線數據業務的應用和實踐
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
最新文章
- 1. No provider available from registry 127.0.0.1:2181 for service com.ddbuy.ser 解決方法
- 2. Qt5.7以上調用虛擬鍵盤(支持中文)，以及源碼修改(可拖動，水平縮放)
- 3. 軟件測試面試- 購物車功能測試用例設計
- 4. ElasticSearch（概念篇）：你知道的, 爲了搜索…
- 5. redux理解
- 6. gitee創建第一個項目
- 7. 支持向量機之硬間隔（一步步推導，通俗易懂）
- 8. Mysql 異步複製延遲的原因及解決方案
- 9. 如何在運行SEPM配置嚮導時將不可認的複雜數據庫密碼改爲簡單密碼
- 10. windows系統下tftp服務器使用
歡迎關注本站公眾號,獲取更多信息
相關文章
- 1. Python數據分析 | (11)利用NumPy數組進行數據處理
- 2. 利用python進行數據分析——之數據結構pandas（一）
- 3. 利用python進行數據分析
- 4. 《利用Python進行數據分析》 —— （1）
- 5. 《利用Python進行數據分析》 —— （2）
- 6. 【利用python進行數據分析——基礎篇】利用Python處理和分析Excel表中數據實戰
- 7. 利用python進入數據分析之MovieLens_1M數據分析
- 8. 利用python進入數據分析之usagov_bitly_data數據分析
- 9. 利用Python進行數據分析(10) pandas基礎: 處理缺失數據
- 10. 利用數組進行數據處理