爬蟲去重 ： 兩種去重方法、增量爬蟲scrapy案例：nba

1、cmd(scrapy startproject nba)創建好項目之後,創建spider文件 配置setting文件 2、創建好spider類 2、判斷要不要使用中間件selenium，如果頁面是ajax請求，js代碼，需要點擊等要使用selenium。會返回html給spider 然後後測試一下 3、如果不需要seleniu也要先測試 4、分頁，想辦法獲取最大頁碼，最簡單的辦法就是在url頁

>>阅读原文<<