scrapy源碼分析（一）---------------------總執行流程概覽

scrapy是一個基於twisted實現的開源爬蟲，要讀懂其源碼，須要對twisted的異步編程模型有必定了解。能夠經過以前3篇deferred的相關教程瞭解。編程 下面是總結的執行一個爬蟲任務的總體執行流程，請將圖片放大查看，即運行"scrapy crawl  xxxSpider"的執行流程：異步 流程中主要的顏色框的含義以下 ：scrapy 1.紅色框是模塊或者類。ide 2.紫色框是向模塊或

>>阅读原文<<