請求頭轉換爲字典

 

 

咱們在寫爬蟲的時候常常須要拷貝瀏覽器的請求頭來使用，可是拷貝過來的並非字典不能直接使用，怎麼能一鍵轉換其爲字典形式呢，下面介紹幾種方式：

方法一，不夠優雅：

 

 

方法二

 

 

能夠發現複製請求頭很簡單了，只要把請求頭所有copy下來，而後用headers_raw_to_dict 轉一下，就直接變成了dict了.

推薦方法

方法三

藉助IDE的正則替換（PyCharm爲例）
PyCharm中替換的快捷鍵是Ctrl+R，選中Regex正則模式

 

源匹配爲 (.*): (.*)$
替換匹配爲 "$1": "$2",

方法四：Chrome插件Postman

Postman是很強大的調試工具，可是目前Google已經放棄了Chrome App，目前在商店裏只能直接搜索到插件。

 

 

你能夠安裝插件之後點擊連接獲取Postman App：

 

 

 

 

開啓Postman Interceptor，訪問的任意請求都會被Postman截獲。
在Postman點擊請求-Code-選擇Python-選擇相應方式便可。

 

 

能夠看到Postman支持很是多種語言的導出。
能夠看到Postman的確是個很是強大的工具，甚至能夠直接幫咱們生成requests代碼了，而不單單是把headers轉化爲字典…
可是呢，我我的感受使用Postman來幹這件事有種殺雞焉用牛刀的感受。這款工具過重了…你們須要衡量學習成本，只作爬蟲而不作Web開發的話估計用的會少一些。另外一方面就是可能依然有人有人沒辦法訪問Google…

方法五：使用curlconverter

curl.trillworks.com/
使用這個方法前咱們須要知道什麼是curl。
curl是Linux命令行下的文件傳輸工具，能夠直接訪問URL，支持多種協議和參數設置甚至cookie設置。簡單來講，就是能夠模擬一個請求。
Chorme瀏覽器的開發工具支持直接copy as curl，因此咱們只須要這麼作：
在開發工具中選中請求copy as curl，而後粘貼到網站表單中，得到Python代碼。

 

 

這個網站只支持Python、NodeJS和PHP。這種輕量級的方法應該是最方便的一種了…