scrapy架構設計分析

scrapy是一個Python爬蟲框架。我們自己用requests也能寫爬蟲（GET某個URL，然後Parse網頁的內容），那麼，問題來了，scrapy高明在哪些地方呢？下面就來討論下這個話題，看看業界通用的爬蟲是怎麼設計的。 從[1]可得scrapy架構圖。它由5個核心模塊組成。   5個模塊功能 (1) 最重要的模塊是Engine：它是數據流的指揮官，負責控制數據流（控制各個模塊之間的通信）；

>>阅读原文<<