scrapy_redis 解決空跑問題,自動關閉爬蟲

使用過scrapy_redis框架的人一定知道，scrapy redis 在沒有requests的時候，會阻塞等待接收start_url，程序無法自動結束。那如何自動停止程序，結束空跑呢？？？ 下面是通過設置超時時間來結束空跑，如果你啓動爬蟲後沒有接受初始爬取頁面，也會在超時後關閉爬蟲。主要在項目的設置文件settings.py進行設置及同級目錄再添加一個文件extensions.py來解決 sp

>>阅读原文<<