Python爬蟲 scrapy框架 原理，scrapy開發流程

Scrapy Engine 引擎 處理整個系統，是各個模塊之間的聯繫人，各個模塊的數據均須要引擎來發送和收回 Scheduler 調度器 a.接收請求，壓入隊列 b.引擎再次請求時返回請求 Downloader 下載器 接收請求request，返回響應response Spider 爬蟲 a.發起起始的請求 start_url b.定義如何爬取下一個網站 call_back Item Pipeli

>>阅读原文<<