Linux環境下使用scrapyd+spiderkeeper部署scrapy爬蟲

聲明：本文只作學習研究，禁止用於非法用途，否則後果自負，如有侵權，請告知刪除，謝謝！ 項目場景： 當我們入手爬蟲工作的時候，一開始可能就是幾個爬蟲，我們可以手動調度部署，日積月累後，可能從十個到一百個，當這100個爬蟲完成之後，我們就要手動的將他們重新啓動，這就很麻煩，而且你要是想看看他們的輸出日誌還要一個一個的找，想必這時候就少不了一款快速部署、任務調度和查看日誌的工具，這裏我們選擇的是scra

>>阅读原文<<