用scrapy寫爬蟲（五）框架解析

1 Scrapy框架 Scrapy是爲爬取網站數據，提取結構性數據而編寫的應用框架，可以應用在包括數據挖掘，信息處理或存儲歷史數據等方面。 2 Scrapy框架圖 Scrapy數據流是由執行的核心引擎(engine)控制，流程是這樣的： 1、爬蟲引擎獲得初始請求開始抓取。 2、爬蟲引擎開始請求調度程序，並準備對下一次的請求進行抓取。 3、爬蟲調度器返回下一個請求給爬蟲引擎。 4、引擎請求發送到下載

>>阅读原文<<