python實現scrapy定時執行爬蟲

項目須要程序可以放在超算中心定時運行，因而針對scrapy寫了一個定時爬蟲的程序main.py ，直接放在scrapy的存儲代碼的目錄中就能設定時間定時屢次執行。 最簡單的方法：直接使用Timer類java import time import os while True: os.system("scrapy crawl News") time.sleep(86400) #每隔

>>阅读原文<<