10 scrapy框架解讀--深刻理解爬蟲原理

scrapy框架結構圖: 組成部分介紹: Scrapy Engine： 負責組件之間數據的流轉，當某個動做發生時觸發事件web Scheduler： 接收requests，並把他們入隊，以便後續的調度框架 Downloader： 負責抓取網頁，並傳送給引擎，以後抓取結果將傳給spiderdom Spiders： 用戶編寫的可定製化的部分，負責解析response，產生items和URLscrapy

>>阅读原文<<