學習python-day015---轉自Python分佈式爬蟲打造搜索引擎Scrapy精講

第三百三十八節，Python分佈式爬蟲打造搜索引擎Scrapy精講—深度優先與廣度優先原理 網站樹形結構 深度優先 是從左到右深度進行爬取的，以深度爲準則從左到右的執行（遞歸方式實現）Scrapy默認是深度優先的 廣度優先 是以層級來執行的，（列隊方式實現）

>>阅读原文<<