[Python數據挖掘]第3章、數據探索

一、缺失值處理：刪除、插補、不處理

二、離羣點分析：簡單統計量分析、3σ原則（數據服從正態分佈）、箱型圖（最好用）

離羣點（異常值）定義爲小於QL-1.5IQR或大於Qu+1.5IQR

import pandas as pd

catering_sale = '../data/catering_sale.xls' #餐飲數據
data = pd.read_excel(catering_sale, index_col = u'日期') #讀取數據，指定「日期」列爲索引列

import matplotlib.pyplot as plt #導入圖像庫
#plt.rcParams['font.sans-serif'] = ['SimHei'] #用來正常顯示中文標籤
#plt.rcParams['axes.unicode_minus'] = False #用來正常顯示負號

plt.figure() #創建圖像
p = data.boxplot(return_type='dict') #畫箱線圖，直接使用DataFrame的方法
x = p['fliers'][0].get_xdata() # 'fliers'即爲異常值的標籤
y = p['fliers'][0].get_ydata()
y.sort() #從小到大排序，該方法直接改變原對象

#用annotate添加註釋
#其中有些相近的點，註解會出現重疊，難以看清，須要一些技巧來控制。
#如下參數都是通過調試的，須要具體問題具體調試。
for i in range(len(x)): 
  if i>0:
    plt.annotate(y[i], xy = (x[i],y[i]), xytext=(x[i]+0.05 -0.8/(y[i]-y[i-1]),y[i]))
  else:
    plt.annotate(y[i], xy = (x[i],y[i]), xytext=(x[i]+0.08,y[i]))

plt.show() #展現箱線圖

                   

三、貢獻度分析（帕累託分析，20/80定律）

import pandas as pd
import matplotlib.pyplot as plt #導入圖像庫

dish_profit = 'data/catering_dish_profit.xls' #餐飲菜品盈利數據
data = pd.read_excel(dish_profit, index_col = u'菜品名')
data = data[u'盈利'].copy()
data.sort_values(ascending = False)

plt.figure()
data.plot(kind='bar')
plt.ylabel(u'盈利（元）')
p = 1.0*data.cumsum()/data.sum()
p.plot(color = 'r', secondary_y = True, style = '-o',linewidth = 2)
plt.annotate(format(p[6], '.4%'), xy = (6, p[6]), xytext=(6*0.9, p[6]*0.9), arrowprops=dict(arrowstyle="->", connectionstyle="arc3,rad=.2")) #添加註釋，即85%處的標記。這裏包括了指定箭頭樣式。
plt.ylabel(u'盈利（比例）')
plt.show()

四、相關性分析（以餐飲數據爲例）

導入數據

求相關係數的三種方式

五、統計做圖函數