python爬蟲之scrapy（基本介紹）

·scrapy框架 1、engine模塊 一、控制全部模塊的數據流 二、根據條件觸發事件 三、不須要用戶修改web 2、download 一、根據請求下載模塊 二、不須要用戶修改數據庫 3、scheduler 一、對全部請求進行調度管理 二、不須要用戶修改 4、spider 一、解析download返回的response（響應） 二、產生爬取scraped item（爬取項） 三、產生額外的req

>>阅读原文<<