Python爬蟲（一）：Scrapy架構流程介紹

Scrapy是什麼？ Scrapy是一套基於Twisted的移步處理框架，是純python實現的爬蟲框架，用戶只需要定製開發幾個模塊就可以輕鬆的實現一個爬蟲，用來抓取網頁內容或者各種圖片。 Scrapy架構圖(綠線爲數據流) Scrapy Engine(引擎)：其本身什麼事都不做，就只號發指令，完成通信的功能，指派四個組件完成相關操作。 Scheduler(調度器)：負責接收 Scrapy Eng

>>阅读原文<<