Scrapy爬蟲框架初識

scrapy是python最有名的爬蟲框架之一，可以很方便的進行web抓取，並且提供了很強的定製型，這裏記錄簡單學習的過程和在實際應用中會遇到的一些常見問題 一、安裝 在安裝scrapy之前有一些依賴需要安裝，否則可能會安裝失敗，scrapy的選擇器依賴於lxml，還有Twisted網絡引擎，以下是windows安裝: Scrapy的安裝： 1. scrapy需要安裝第三方庫文件，lxml和Twi

>>阅读原文<<