讓Scrapy的Spider更通用

1，引言 《Scrapy的架構初探》一文所講的Spider是整個架構中最定製化的一個部件，Spider負責把網頁內容提取出來，而不同數據採集目標的內容結構不一樣，幾乎需要爲每一類網頁都做定製。我們有個設想：是否能做一個比較通用的Spider，把定製部分再進一步隔離出去？ GooSeeker有一個爬蟲羣模式，從技術實現層面來考察的話，其實就是把爬蟲軟件做成一個被動接受任務的執行單元，給他什麼任務他就

>>阅读原文<<