配置crontab定時多任務爬蟲

一、crontab 學習文檔：https://www.cnblogs.com/clphp/p/6801608.html

二、編輯命令：crontab -e

     30 1 * * * cd /data/XXX/XXX/commands && /bin/sh running.sh >/dev/null &

     #天天一點半，定時執行爬蟲

三、running.sh 的內容：nohup scrapy crawlall > /dev/null 2>&1 &

四、建立目錄commands的crawlall.py

五、settings.py 最後加上：COMMANDS_MODULE = 'XXX.commands'