python爬蟲scrapy之如何同時執行多個scrapy爬行任務

背景:python   剛開始學習scrapy爬蟲框架的時候,就在想若是我在服務器上執行一個爬蟲任務的話,還說的過去。可是我不能每一個爬蟲任務就新建一個項目吧。例如我創建了一個知乎的爬行任務,可是我在這個爬行任務中,寫了多個spider,重要的是我想讓他們同時運行,怎麼辦?服務器 小白解決辦法:框架   一、在spiders同目錄下新建一個run.py文件,內容以下(列表裏面最後能夠加上參數,如-
相關文章
相關標籤/搜索