Scrapy學習筆記

Scrapy學習筆記 1.Scrapy是什麼 Scrapy是基於twisted的爬蟲框架，用戶定製開發幾個模塊就可以實現爬蟲 2.Scrapy的優勢 沒有Scrapy要自己手寫爬蟲的時候，我們要用Urlib或Requests庫發送請求、封裝http頭部信息類、多線程、封裝代理類、封裝去重類、封裝數據存儲類、封裝去重類、封裝異常檢測機制 3.Scrapy架構 Scrapy Engine：Scrapy

>>阅读原文<<