request應用之爬取亞馬遜商品頁面

嘗試使用r=request.get(url) 查看 r.status_code,返回結果是503, r.encoding發現返回的是ISO-8859-1, r.encoding=r.apparent_encoding 返回結果: 說明亞馬遜拒絕了訪問, 許多網站對於爬蟲有限制,途徑主要有兩種,一種是通過robots協議告知那些可以訪問,那些不可以訪問;一種是通過網站訪問的http的頭來查看訪問是不
相關文章
相關標籤/搜索