Python 網絡爬蟲 迷你爬蟲框架

本文章主要是實現一個最基礎的網絡爬蟲框架，採用廣度優先策略，即先爬取當級的全部網頁，再對下級網頁進行爬取。這樣的文章能夠說是一找一大堆，但我仍是寫了一遍，別人寫的代碼，那是別人的東西，若是不親自實踐，那你是永遠都沒法掌握，發出來也是想給初學者一個參考。還有救是每次寫超過50行的代碼我都會作流程圖，雖然很不標準，但仍是能夠有一個基本思路。有流程圖說明代碼中有本身的思考，仍是那句話，寫程序，百分之80

>>阅读原文<<