python爬蟲之scrapy（基本介紹）

·scrapy框架 一、engine模塊 1、控制所有模塊的數據流 2、根據條件觸發事件 3、不需要用戶修改 二、download 1、根據請求下載模塊 2、不需要用戶修改 三、scheduler 1、對所有請求進行調度管理 2、不需要用戶修改 四、spider 1、解析download返回的response（響應） 2、產生爬取scraped item（爬取項） 3、產生額外的requests（

>>阅读原文<<