scrapy 爬蟲的暫停與重啓

暫停爬蟲項目 　　首先在項目目錄下創建一個文件夾用來存放暫停爬蟲時的待處理請求url以及其他的信息.(文件夾名稱:job_info) 在啓動爬蟲項目時候用pycharm自帶的終端啓動輸入下面的命令: scrapy crawl (爬蟲名) -s JOBDIR=job_info/(再讓其自動的創建一個文件夾用於存放不同的爬蟲重啓與暫停時的信息[不同的爬蟲在暫停時不能共用同一個目錄來存放暫停信息,重啓同

>>阅读原文<<