urllib爬蟲封裝（可設置代理，記錄日誌）方法

urllib爬蟲封裝（具體其餘功能根據需求完善） 1.支持設置HTTP Request Headers ,能設置UA。 2.支持代理服務器的設置。 3.它支持timeout超時機制。 4.它支持網頁 的編碼指定。 5.它支持服務器返回的錯誤處理 若是>400 and <500 直接記錄日誌， 若是錯誤碼是500-600 則從新發起請求。javascript # -*- coding: utf-8

>>阅读原文<<