Python爬蟲攜帶Cookie,session會話保持,對於需要登錄才能抓數據的處理方式

在做爬蟲時,有的網站必須先登錄才能訪問到頁面,爬這樣的網頁,就需要像請求中插入Cookie值,下面介紹3種方式   方式一:將Cookie插入Headers請求頭 1,先登錄成功一次,獲取到攜帶登錄信息的Cookie(需要手動) 拿CSDN舉例,登錄成功 -> 個人主頁 -> 打開控制檯 -> 刷新頁面 -> 看到以自己用戶名命名的文件 -> 複製cookie 2,攜帶cookie發請求 需要用到
相關文章
相關標籤/搜索