咱們知道一些網站是須要帳號密碼才能夠登錄的,例如知乎。而利用requests庫裏的get方法的headers參數能夠達到這個目的web
首先在知乎的網頁上登錄本身的知乎帳號,利用chrome的開發者工具(F12)能夠捕獲咱們的get方法向瀏覽器提供的cookie內容,以及user-agent內容
chrome
將這兩個信息複製下來,添加到咱們向瀏覽器發出請求的get()方法的headers參數中
能夠這麼寫瀏覽器
header={'user-agent':'瀏覽器的請求頭','cookie':'捕捉到的cookie'} r=requests.get(url,headers=header)
這樣瀏覽器就會返回給咱們登錄後網站的代碼了cookie
另外值得注意的是,在向知乎網頁提供get請求時,應該將https://www.zhihu.com這個網址做爲url而不是https://www.zhihu.com/signup?next=%2F這個網址。咱們利用F12開發者工具也能夠看到咱們是想第一個網址來發出get請求的
svg
經過這種方法咱們就完成了爬蟲上的模擬登錄工具