爬蟲 — 生成的網頁 headers

最近在弄爬蟲，有些網站需要傳入headers，自己將網站的 headers 一一弄下來形成字典太麻煩了。偶然發現 Chrome 可以生成一個叫 cURL 的東西，裏面包含該網頁的 headers 。就寫了個函數自動提取並返回字典形式的 heades。 先介紹一下怎麼獲取到網頁的 cURL: 按上面步驟執行就能得到下面的東西： curl "https://www.baidu.com/" -H "Co

>>阅读原文<<