js逆向解密之網絡爬蟲

1 引言 數月前寫過某網站（請原諒我的掩耳盜鈴）的爬蟲，這兩天需要重新採集一次，用的是scrapy-redis框架，本以爲二次爬取可以輕鬆完成的，可沒想到爬蟲啓動沒幾秒，出現了大堆的重試提示，心裏頓時就咯噔一下，悠閒時光估計要結束了。 仔細分析後，發現是獲取店鋪列表的請求出現問題，通過瀏覽器抓包，發現請求頭參數中相比之前多了一個X-Shard和x-uab參數，如下圖所示： X-Shard倒是沒什麼

>>阅读原文<<