【轉】Duplicate Elimination in Scrapy

      之前介紹 Scrapy 的時候提過 Spider Trap ，實際上，就算是正常的網絡拓撲，也是很複雜的相互鏈接，雖然我當時給的那個例子對於我感興趣的內容是可以有一個線性順序依次爬下來的，但是這樣的情況在真正的網絡結構中通常是少之又少，一但鏈接網絡出現環路，就無法進行拓撲排序而得出一個依次遍歷的順序了，所以 duplicate elimination 可以說是每一個 non-trivi

>>阅读原文<<