Python2.x爬蟲入門之URLError異常處理

　　你們好，本節在這裏主要說的是URLError還有HTTPError，以及對它們的一些處理。

1.URLError

　　首先解釋下URLError可能產生的緣由：

　　（1）網絡無鏈接，即本機沒法上網

　　（2）鏈接不到特定的服務器

　　（3）服務器不存在

　　在代碼中，咱們須要用try-except語句來包圍並捕獲相應的異常。下面是一個例子，先感覺下它的特性

1 import urllib2
2 
3 request=urllib2.Request('http://www.xxdsaxxx.com')
4 
5 try:
6     urllib2.urlopen(request)
7 except urllib2.URLError as e:
8     print(e.reason)

　　咱們利用了 urlopen方法訪問了一個不存在的網址，運行結果以下：

1 [Errno 11004] getaddrinfo failed

　　它說明了錯誤代號是11004，錯誤緣由是 getaddrinfo failed

2.HTTPError

　　HTTPError是URLError的子類，在你利用urlopen方法發出一個請求時，服務器上都會對應一個應答對象response，其中它包含一個數字」狀態碼」。舉個例子，假如response是一個」重定向」，需定位到別的地址獲取文檔，urllib2將對此進行處理。

　　其餘不能處理的，urlopen會產生一個HTTPError，對應相應的狀態嗎，HTTP狀態碼錶示HTTP協議所返回的響應的狀態。下面將狀態碼歸結以下：

　　100：繼續 客戶端應當繼續發送請求。客戶端應當繼續發送請求的剩餘部分，或者若是請求已經完成，忽略這個響應。

　　101： 轉換協議 在發送完這個響應最後的空行後，服務器將會切換到在Upgrade 消息頭中定義的那些協議。只有在切換新的協議更有好處的時候才應該採起相似措施。 　　        102：繼續處理 由WebDAV（RFC 2518）擴展的狀態碼，表明處理將被繼續執行。

　　200：請求成功 處理方式：得到響應的內容，進行處理

　　201：請求完成，結果是建立了新資源。新建立資源的URI可在響應的實體中獲得 處理方式：爬蟲中不會遇到

　　202：請求被接受，但處理還沒有完成 處理方式：阻塞等待

　　204：服務器端已經實現了請求，可是沒有返回新的信 息。若是客戶是用戶代理，則無須爲此更新自身的文檔視圖。 處理方式：丟棄

　　300：該狀態碼不被HTTP/1.0的應用程序直接使用， 只是做爲3XX類型迴應的默認解釋。存在多個可用的被請求資源。 處理方式：若程序中可以處理，則進行進一步處理，若是程序中不能處理，則丟棄

　　301：請求到的資源都會分配一個永久的URL，這樣就能夠在未來經過該URL來訪問此資源 處理方式：重定向到分配的URL

　　302：請求到的資源在一個不一樣的URL處臨時保存 處理方式：重定向到臨時的URL

　　304：請求的資源未更新 處理方式：丟棄

　　400：非法請求 處理方式：丟棄

　　401：未受權 處理方式：丟棄

　　403：禁止 處理方式：丟棄

　　404：沒有找到 處理方式：丟棄

　　500：服務器內部錯誤 服務器遇到了一個不曾預料的情況，致使了它沒法完成對請求的處理。通常來講，這個問題都會在服務器端的源代碼出現錯誤時出現。

　　501：服務器沒法識別 服務器不支持當前請求所須要的某個功能。當服務器沒法識別請求的方法，而且沒法支持其對任何資源的請求。

　　502：錯誤網關 做爲網關或者代理工做的服務器嘗試執行請求時，從上游服務器接收到無效的響應。

　　503：服務出錯 因爲臨時的服務器維護或者過載，服務器當前沒法處理請求。這個情況是臨時的，而且將在一段時間之後恢復。

　　HTTPError實例產生後會有一個code屬性，這就是是服務器發送的相關錯誤號。 由於urllib2能夠爲你處理重定向，也就是3開頭的代號能夠被處理，而且100-299範圍的號碼指示成功，因此你只能看到400-599的錯誤號碼。

　　下面咱們寫一個例子來感覺一下，捕獲的異常是HTTPError，它會帶有一個code屬性，就是錯誤代號，另外咱們又打印了reason屬性，這是它的父類URLError的屬性。

1 import urllib2
2 req=urllib2.Request('http://blog.csdn.net/cqcre')
3 try:
4     urllib2.urlopen(req)
5 except urllib2.HTTPError as e:
6     print(e.code)
7     print(e.reason)

　　運行結果以下

 

1 403
2 Forbidden

 

　　錯誤代號是403，錯誤緣由是Forbidden，說明服務器禁止訪問。

　　咱們知道，HTTPError的父類是URLError，根據編程經驗，父類的異常應當寫到子類異常的後面，若是子類捕獲不到，那麼能夠捕獲父類的異常，因此上述的代碼能夠這麼改寫

 1 import urllib2
 2 
 3 req=urllib2.Request('http://blog.csdn.net/cqcre')
 4 try:
 5     urllib2.urlopen(req)
 6 except urllib2.HTTPError,e:
 7     print(e.code)
 8 except urllib2.URLError,e:
 9     print(e.reason)
10 else:
11     print("OK")

　　若是捕獲到了HTTPError，則輸出code，不會再處理URLError異常。若是發生的不是HTTPError，則會去捕獲URLError異常，輸出錯誤緣由。

　　另外還能夠加入 hasattr屬性提早對屬性進行判斷，代碼改寫以下

 1 import urllib2
 2 
 3 req=urllib2.Request('http://blog.csdn.net/cqcre')
 4 try:
 5     urllib2.urlopen(req)
 6 except urllib2.URLError,e:
 7     if hasattr(e,"code"):
 8         print(e.code)
 9     if hasattr(e,"reason"):
10         print(e.reason)
11 else:
12     print("OK")

 

　　首先對異常的屬性進行判斷，以避免出現屬性輸出報錯的現象。 以上，就是對URLError和HTTPError的相關介紹，以及相應的錯誤處理辦法，以上異常處理，在Python2.X上測試經過，Python3.x有些許變化，請測試後使用。

　　轉載整理自：靜覓 » Python爬蟲入門五之URLError異常處理