在服務器上搭建scrapy分佈式爬蟲環境的過程

這段時間在用 scrapy 爬取大衆點評美食店鋪的信息，由於準備爬取該網站上全國各個城市的信息，單機跑效率肯定是跟不上的，所以只能藉助於分佈式。scrapy 學習自崔慶才老師的視頻，受益頗多，代碼簡練易懂，風格清新。這裏梳理一遍從剛申請的服務器環境配置，python 安裝，到搭建能運行分佈式爬蟲的整個流程。 服務器我是申請的阿里雲的學生機，騰訊雲和美團雲也申請了，相比起來還是阿里雲用起來舒服，騰訊

>>阅读原文<<