爬取Boss直聘拿下來的假數據

下面是我在爬取BOSS直聘時遇到的，給個人公司都是假數據，緣由是由於沒有及時更換代理ip被識別出來是爬蟲了，其實解決這種問題最好的辦法就是更換代理Ip和更換請求頭html 在更換代理和請求頭以後，沒有出現訪問錯誤的問題了web 更換完了以後又出現重定向的問題，如圖scrapy 2019-08-12 21:51:39 [scrapy.middleware] INFO: Enabled item pi

>>阅读原文<<