Ubuntu 16.04後臺運行scrapy爬蟲程序

某些爬蟲程序須要運行很長時間才能將數據爬完,爬取太快呢又會被網站給封禁。你又不想一直開着電腦連續開幾天,太麻煩。。。python 其實有個好方法,你能夠把爬蟲放在阿里雲服務器運行,這樣你就不須要管了,可是你若是在Ubuntu或阿里雲上直接:web scrapy crawl spider_name 或python run.py的話 當你關閉連接阿里雲的xshell時,程序會直接停掉不會繼續運行。sh
相關文章
相關標籤/搜索