Scripy框架的介紹和使用

Scrapy框架的介紹 Scrapy是純python的爬蟲框架，專門用python語法爬取網絡數據的，用戶只需要定製幾個模塊，就可以輕易的實現抓取網頁的內容 scrapy架構圖 scrapy engine(引擎):接收所有其他組件返回的信號，再發送信號傳遞給其他組件，執行相關的功能。 scheduler(調度器)：負責接收引擎發來的request請求。再將請求傳送給下載器，下載器下載東西，再傳送給

>>阅读原文<<