級聯,映射

一 . 級聯

  咱們上次說過一個級聯,numpy.concatenate, 接下來說的級聯和這個相似,只是多了一些參數而已!

  正常操做,先倒包,後面就不在導包了

import numpy import pandas from pandas import Series,DataFrame

  1. 使用pandas.concat()級聯

與numpy.concatenate函數相似只是多了一些參數: -- objs -- axis() -- keys -- join='outer'/ 'inter': 表示級聯方式,outer會將全部的項進行級聯(忽略是否匹配),inner只會將匹配的級聯 -- ignore_index=False

  匹配級聯

df1 = DataFrame(data=numpy.random.randint(0,100,size=(3,3)),index=['a','b','c'],columns=['A','B','C']) df2 = DataFrame(data=numpy.random.randint(0,100,size=(3,3)),index=['a','e','c'],columns=['A','E','C']) pandas.concat((df1,df1),axis=0,join='outer') pandas.concat((df1,df2),axis=0,join='inner')

  pandas.merge() 合併

1.merge和concat區別在於,merge須要依據某一共同的列來進行合併 2.使用pandas.merge()合併時,會自動根據二者相同column名稱的列,做爲key進行合併 3.注意每一列元素順序能夠不一致 參數: - how: out取並集,inner取交集 - on: 當有多列相同的時候,能夠用on指定哪一列進行合併.on的值爲一個列名

  合併實操

一對一合併(多對一和多對多同理) df1 = DataFrame({ 'employee':['Lias','Bob','Jack'], 'hire_date':[2000,2004,2008] }) df2 = DataFrame({ 'employee':['Bob','Jack','Lias'], 'group':['Account','Engineer','Engineer'] }) pandas.merge(df1,df2,how='outer')    # 合併,取並集,默認employee做爲key

 

  

 

  

   df.sort.index() # 按索引排序數組

   df.sort.values() # 對元素排序app

  !!!  若是兩個表的 列名 不一樣,可是數據相同,能夠用這兩個列合併,left_on='列名',right='列名'

二 . 映射

   1. replace

Series替換操做
    單值替換
    普通替換
    字典替換(推薦)
    多值替換
    列表替換
    字典替換(推薦)
參數
    to_replace:被替換的元素

  單值普通替換

s = Series(data=[3,4,5,6,8,10,9]) s.replace(to_replace=6,value='six')

  多值替換

s.replace(to_replace=[3,4],value=['',''])

  DataFrame中替換操做

單值替換 普通替換:替換全部符合要求的元素:to_replace=666,value='六六六' 按列指定單值替換:to_replace={列標籤:須要被替換值} value='要換成的值' 多值替換 列表替換:to_replace=[] value=[] 字典替換(推薦): to_replace={to_replace:value}

  下圖就是df

 

  實操

df.replace(to_replace=666,value='六六六') df.replace(to_replace={30:'參拾'})

  map()函數:新建一列, map函數不是DataFrame的方法,而是Series的方法

map()能夠映射新一列數據
map()中可使lambda表達式
map()可使用方法,能夠是自定義方法

eg:map({to_replace:value}) 注意 map中不能使用sum之類的函數

  實操

dic = { 'name':['jay','tom','jay'], 'salary':[12000,800,12000] } df = DataFrame(data=dic)

  

  新增一列,給df中,添加一列,該列的值爲英文名對應的中文名

# 映射關係表
dic ={ 'jay':'周杰倫', 'tom':'湯姆' } df['c_name']= df['name'].map(dic)   # map是Series的方法,因此要先取到Series對象

  

  map當作一種運算工具,至於執行何種運算,是有map函數決定的,(參數:lambda,函數)

def after_salary(s): if s<=3000: return s return s - (s-3000)*0.5

# 超過3000部分的錢繳納50%的稅
df['after_salary'] = df['salary'].map(after_salary)     # 這個salary就是after_salary函數中的參數s

  

  使用聚合操做對數據異常值檢測和過濾

使用df.std()函數能夠求的DataFrame對象每一列的標準差 建立一個1000行3列的df範圍(0-1),求每一列的標準差

  簡單的一個小例子

df = DataFrame(data=numpy.random.random(size=(1000,3)),columns=['A','B','C']) 對df進行刪選,去除標準差太大的數據,過濾條件爲C列的數據大於兩倍的C列標準差 double_std = df['C'].std()*2   # C列的標準差的2倍
~(df['C'] > double_std) df.loc[~(df['C'] > double_std)]  # 清洗過的數據

  排序

使用 .take()函數排序 - take()函數接收一個索引列表,用數字表示,使得df根據列表中索引的順序進行排序 - eg:df.take([1,3,5,2,4])

  小案例

# df = DataFrame(data=numpy.random.random(size=(1000,3)),columns=['A','B','C'])
df.take([2,1,0],axis=1)  # take的axis和drop是同樣的, 1表明列 用隱式索引
 df.take(numpy.random.permutation(3),axis=1)    #也會生成3列

  數據分類處理(重點)

數據聚合是數據處理的最後一步,一般是要使每個數組生成一個單一的值 數據分類處理: - 分組:先把數據分爲幾組 - 用函數處理:爲不一樣組的數據應用不一樣函數以轉換數據 - 合併:把不一樣組獲得的結果合併起來 數據分類處理的核心: - groupby()函數 - groups屬性:查看分組狀況 - eg: df.groupby(by='item').groups

  分組

from pandas import DataFrame,Series df = DataFrame({ 'item':['Apple','Banana','Orange','Banana','Orange','Apple'], 'price':[4,3,3,2,5,4], 'color':['red','yellow','yellow','green','green','green'], 'weight':[12,20,50,30,20,44] })

  

  小案例

df.groupby(by='item',axis=0).groups # 給df建立一個新列,內容爲各個水果的平均價格
mean_price = df.groupby(by='item',axis=0)['price'].mean() dic = mean_price.to_dict()   #變成字典格式
df['mean_price'] = df['item'].map(dic)

  

  高級數據聚合

使用groupby分組後,也可使用transform和apply提供自定義函數實現更多的運算 df.groupby('item')['price'].sum() <==> df.groupby('item')['price'].apply(sum) transform和apply都會進行運算,在transform或者apply中傳入函數便可 transform和apply能夠傳入lambda表達式

  自定義方法

def func(s): sum = 0 for i in s: sum += i return sum/s.size # 使用apply函數求出水果的平均價格
df.groupby(by='item')['price'].apply(func)   # 返回的是沒有映射的數據,func怎麼定義根據調用它的數據類型決定
 df.groupby(by='item')['price'].transform(func)    # 返回的是映射過的數據

  !!! apply 還能夠代替運算工具形式的map

  ### 補充一下dom

df['color'].value_counts() # 計數

  

相關文章
相關標籤/搜索