scrapy架構個人解讀

scrapy 架構圖       從上圖中可以看到scrapy的數據流向 1.從書寫的spiders開始會拋出 (yield) requests 到scrapy引擎(engine)中 2.engine 沒有對request 做任何處理，直接將 requests 交給 scheduler 3.由scheduler生成requests 重新交給engine 4.engine將從scheduler 中得

>>阅读原文<<