讓Scrapy的Spider更通用

1，引言 《Scrapy的架構初探》一文所講的Spider是整個架構中最定製化的一個部件，Spider負責把網頁內容提取出來，而不一樣數據採集目標的內容結構不同，幾乎須要爲每一類網頁都作定製。咱們有個設想：是否能作一個比較通用的Spider，把定製部分再進一步隔離出去？python GooSeeker有一個爬蟲羣模式，從技術實現層面來考察的話，其實就是把爬蟲軟件作成一個被動接受任務的執行單元，給他

>>阅读原文<<