Scrapy架構簡述

瞅一眼官方文檔給出的架構圖，此圖中包含了Scrapy框架的基本組件構成以及數據流的走向。 第一眼看過去，有點蒙逼是正常的，接着往下看看就會會理解了。 先了解了解每個組件是做什麼的： Spiders(爬蟲類): Spiders是開發者自定義的一個類，用於解析相應並提取item或下個爬取的URL Scrapy Engine(引擎): Engine負責控制數據流在系統中的流動走向，並在指定條件下觸發一些

>>阅读原文<<