爬蟲實例

scrapy是python最有名的爬蟲框架之一，可以很方便的進行web抓取，並且提供了很強的定製型，這裏記錄簡單學習的過程和在實際應用中會遇到的一些常見問題 一、安裝 在安裝scrapy之前有一些依賴需要安裝，否則可能會安裝失敗，scrapy的選擇器依賴於lxml，還有Twisted網絡引擎，還需要配置python的環境變量 以及python的script的變量 以下是windows安裝: Scr

>>阅读原文<<