學習python-day015---轉自Python分佈式爬蟲打造搜索引擎Scrapy精講

第三百三十八節,Python分佈式爬蟲打造搜索引擎Scrapy精講—深度優先與廣度優先原理 網站樹形結構 深度優先 是從左到右深度進行爬取的,以深度爲準則從左到右的執行(遞歸方式實現)Scrapy默認是深度優先的 廣度優先 是以層級來執行的,(列隊方式實現)
相關文章
相關標籤/搜索