學習python-day02-09---轉自Python分佈式爬蟲打造搜索引擎Scrapy精講

第三百五十三節，Python分佈式爬蟲打造搜索引擎Scrapy精講—scrapy的暫停與重啓 scrapy的每一個爬蟲，暫停時可以記錄暫停狀態以及爬取了哪些url，重啓時可以從暫停狀態開始爬取過的URL不在爬取 實現暫停與重啓記錄狀態 1、首先cd進入到scrapy項目裏 2、在scrapy項目裏創建保存記錄信息的文件夾 3、執行命令： scrapy crawl 爬蟲名稱 -s JOBDIR=保存

>>阅读原文<<