scrapy集成scrapy-redis

背景狀況 爬蟲因爲須要網絡請求，通常生產數據都比較慢，若是增長部分瀏覽器的處理，會更慢, 因此須要增長分佈式的處理方案， 比較常見的，是把隊列扔到redis中，比較經常使用的是 scrapy-redis php 說明，怎麼去搭建一個spider,請查看 https://blog.csdn.net/mingover/article/details/80717974css 怎麼加入scrapy-red

>>阅读原文<<