scrapy京東翻頁爬取

獲取下一頁的連接 若是下一頁有值，就發送下一頁的請求，沒有就什麼都不作 # 只爬取 前5頁 self.page += 1 if self.page > 4: return # 列表翻頁 # 1. 取出 下一頁 標籤 的 URL 網址不齊全 next_url = response

>>阅读原文<<