1.1用圖表分析單變量數據

　　單變量:表達式、方程式、函數或者一元多項式等

　　數據：http://www.presidency.ucsb.edu/data/sourequests.php美國總統歷年在國情諮文中對國會提起的訴求數量

1、獲取數據

　　本次使用到的數據量並很少，不過仍是按照常規思路，經過爬蟲獲取。

 1 import urllib.request  2 import re  3 
 4 
 5 def crawler(url):  6     headers = {  7         "User-Agent": "Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10"
 8  }  9     req = urllib.request.Request(url, headers=headers) 10     response = urllib.request.urlopen(req) 11     
12     html = response.read().decode('utf-8') 13     print(type(html)) 14     
15     pat = r'<tr align="center">(.*?)</tr>'
16     re_html = re.compile(pat, re.S) # re.S可使匹配換行
17     trslist = re_html.findall(html) # 匹配出每條信息的數據
18     
19     x = [] 20     y = [] 21     for tr in trslist: 22         re_i = re.compile(r'<div align="center">(.*?)</div>', re.S) 23         i = re_i.findall(tr) 24         x.append(int(i[1].strip())) # 從每條數據中取出所須要的兩個數據年份和訴求數量
25         y.append(int(i[2].strip()) if i[2] != '' else 0) # 當匹配到空字符串時就是數據缺失部分，用0代替
26     print(x,y) # 查看結果發現第一組和第四組數據有誤，看源碼發現他們兩個的分類名不是使用的center標籤，爲了簡便，手動添加這兩個數據
27     x[0] = 1946
28     y[0] = 41
29     x[3] = 1949
30     y[3] = 28
31     return x, y 32     
33 url = "http://www.presidency.ucsb.edu/data/sourequests.php"
34 x, y = crawler(url)

　　獲得的數據：

x：[41, 1947, 1948, 28, 1950, 1951, 1952, 1953, 1954, 1955, 1956, 1957, 1958, 1959, 1960, 
1961, 1962, 1963, 1964, 1965, 1966, 1967, 1968, 1969, 1970, 1971, 1972, 1973, 1974, 1975, 
1976, 1977, 1978, 1979, 1980, 1981, 1982, 1983, 1984, 1985, 1986, 1987, 1988, 1989, 1990, 
1991, 1992, 1993, 1994, 1995, 1996, 1997] 
y：[16, 23, 16, 17, 20, 11, 19, 14, 39, 32, 0, 14, 0, 16, 6, 25, 24, 18, 17, 38, 31, 27, 26, 
17, 21, 20, 17, 23, 16, 13, 13, 21, 11, 13, 11, 8, 8, 14, 9, 7, 5, 5, 54, 34, 18, 20, 27, 
30, 22, 25, 19, 26]

2、繪製圖形觀察趨勢

1 import numpy as np 2 import matplotlib.pyplot as plt 3 from matplotlib.pylab import frange 4 
5 plt.figure(1) 6 plt.title("All data") 7 plt.plot(x, y, 'ro') 8 plt.xlabel('year') 9 plt.ylabel('No Presedential Request')

　　根據獲取到的數據繪製出散點圖，觀察其分佈狀況，發現有一個極大的異常點，和兩個爲零的異常點（獲取數據時的缺失值，默認填充爲0）．

3、計算百分位數

 1 ＃ 使用numpy中的求分位數函數分別計算  2 perc_25 = np.percentile(y, 25)  3 perc_50 = np.percentile(y, 50)  4 perc_75 = np.percentile(y, 75)  5 print("25th Percentile = %.2f" % perc_25)  6 print("50th Percentile = %.2f" % perc_50)  7 print("75th Percentile = %.2f" % perc_75)  8 
 9 '''
10 結果： 11 25th Percentile = 13.00 12 50th Percentile = 18.50 13 75th Percentile = 25.25 14 '''

　　上面已經求得各分位數值，分別在圖中畫出來，爲了在上面原始圖中畫出，要放在一塊兒執行：

 1 # 在圖中畫出第2五、50、75位的百分位水平線
 2 # ----------------------------------------
 3 plt.figure(1)  4 plt.title("All data")  5 plt.plot(x, y, 'ro')  6 plt.xlabel('year')  7 plt.ylabel('No Presedential Request')  8 # ----------------------------------------
 9 plt.axhline(perc_25, label='25th perc', c='r') 10 plt.axhline(perc_50, label='50th perc', c='g') 11 plt.axhline(perc_75, label='75th perc', c='m') 12 plt.legend(loc='best')

4、檢查異常點

 1 # 檢查生成的圖形中是否有異常點，如有，使用mask函數將其刪除
 2 # 0是在起初獲取數據時候的缺失值的填充，根據圖像看到y=54的點遠遠高出其餘，也按異常值處理
 3 y = np.array(y) # 起初發現y爲0的點沒有被刪掉，考慮到他是對數組進行隱藏，而原本的y是個列表，所以又加了這一句，果真去掉了兩個零點
 4 y_masked = np.ma.masked_where(y==0, y)  5 y_masked = np.ma.masked_where(y_masked==54, y_masked)  6 print(type(y),type(y_masked))  7 
 8 '''
 9 <class 'numpy.ndarray'> <class 'numpy.ma.core.MaskedArray'> 10 '''

從新繪製圖像：

 1 # 從新繪製圖像
 2 plt.figure(2)  3 plt.title("Masked data")  4 plt.plot(x, y_masked, 'ro')  5 plt.xlabel('year')  6 plt.ylabel('No Presedential Request')  7 plt.ylim(0, 60)  8 
 9 # 在圖中畫出第2五、50、75位的百分位的水平線
10 plt.axhline(perc_25, label='25th perc', c='r') 11 plt.axhline(perc_50, label='50th perc', c='g') 12 plt.axhline(perc_75, label='75th perc', c='m') 13 plt.legend(loc='best') 14 plt.show()

 

　　獲得的最後的圖像，就是去除了0和54的三個異常點後的結果。

5、知識點

plot 

1 plt.close('all') # 關閉以前打開的全部圖形
2 plt.figure(1) # 給圖形編號，在繪製多個圖形的時候有用
3 plt.title('All data') # 設置標題
4 plt.plot(x, y, 'ro') # "ro" 表示使用紅色（r）的點（o）來繪圖

百分位數

　　一組n個觀測值按數值大小排列。如，處於p%位置的值稱第p百分位數。p=50，等價於中位數；p=0，等價於最小值；p=100，等價於最大值。

plt.axhline()

　　給定y的位置，從x的最小值一直畫到x的最大值
　　label設置名稱
　　c參數設置線條顏色
　　eg：perc_25 = 13.00
　　　　plt.axhline(perc_25, label='25th perc', c='r')

legend(loc) 

　　plt.legend() 是將圖中一些標籤顯示出來
　  loc參數讓pyplot決定最佳放置位置，以避免影響讀圖

numpy-mask函數 

　　刪除異常點
　　y_masked = np.ma.masked_where(y==0, y)
　　ma.masked_where函數接受兩個參數，他將數組中符合條件的點進行隱藏，而不須要刪除