python3爬蟲實踐之之之搭建開發環境

urllib庫，用該模塊寫一些爬蟲文件，實現起來很是方便，但作大型項目的時候，會發現效率不是太好、而且程序的穩定性也不是太好，更適合寫爬蟲文件，scrapy爬蟲框架更適合作爬蟲項目 一些第三方庫： lxml、Twisted、pywin3二、scrapy lxml是一種能夠迅速、靈活地處理 XML。 Twisted是用Python實現的基於事件驅動的網絡引擎框架。 pywin32提供win32api

>>阅读原文<<