python爬蟲(五):實戰 【4. 爬亞馬遜】

目標:在亞馬遜網站搜索商品,爬取前10頁的商品(名字和價格) 第一步:訪問網站,隱藏爬蟲 亞馬遜對爬蟲限制比較嚴格,修改headers、cookies、代理ip 獲取cookie:f12在console輸入document.cookie() 注意:cookies格式爲字典,{'a':'1','b':'2','c':'3'} 最好自己手動替換,我用記事本替換=爲:就出錯了,因爲cookies內部也有
相關文章
相關標籤/搜索