使用scrapy-redis分佈式爬蟲去爬取指定信息

作者：黎智煊，叩丁狼教育高級講師。原創文章，轉載請註明出處。 目標:在智聯招聘上面爬取指定職位信息並且保存到redis數據庫當中. 工具:python3.6,scrpay,scrapy-redis,redis 首先配置好本地python環境,具體是python2或者python3都可以. 使用pip或者anaconda安裝好scrapy和scrapy-redis模塊. 本文就使用scrapy-re

>>阅读原文<<