爬蟲--代理池(requests 人人網實戰)

IP代理: 原因 讓服務器認爲不是同一個客戶端的請求 不易追蹤自己的ip 檢查可用性 使用requests加超時參數,判斷ip質量 在線代理ip質量檢測網站 代理池 字典形式,一堆ip,隨機使用 用戶代理: 代理池 使用一堆帶有cookie的請求組成用戶代理池 使用思路 實例化session 使用session發送請求,登陸網站,將cookie保存在session中 再使用session請求登陸之
相關文章
相關標籤/搜索