使用selenium和pyquery來爬取淘寶ipad商品信息

使用selenium爬取淘寶ipad商品信息 爬取過程中的重點是實現翻頁、提取商品信息、存儲至數據庫 訪問淘寶 爬取過程中可以通過掃描二維碼的方式來登陸淘寶，要注意的是訪問不能過於頻繁，否則ip會被限制訪問。 防止ip被限制訪問可以通過使用代理，或者降低訪問的頻率 1.獲取商品的總頁數 檢查其html源碼 可通過CSS選擇器來選取總頁數，進而獲取其總頁數 代碼如下： def search(url)

>>阅读原文<<