python進階 -----scrapy分佈式爬蟲

    大家都知道，現在爬蟲爬取的數據很多，僅憑單臺主機已經無法滿足人們的需要，所以，分佈式爬蟲提供了很好的解決方案。     第一步，我們需要安裝redis服務，及redis的可視化管理工具。附上下載鏈接：     https://github.com/MSOpenTech/redis/tags   安裝教程：https://blog.csdn.net/u010137839/article/de

>>阅读原文<<