Python爬蟲工作原理

Python爬蟲通過URL管理器，判斷是否有待爬URL，如果有待爬URL，通過調度器進行傳遞給下載器，下載URL內容，並通過調度器傳送給解析器，解析URL內容，並將價值數據和新URL列表通過調度器傳遞給應用程序，並輸出價值信息的過程。Python爬蟲常用框架有： 一：grab：網絡爬蟲框架（基於pycurl/multicur）； 二：scrapy：網絡爬蟲框架（基於twisted），不支持Pyth

>>阅读原文<<