Python爬蟲偷懶神器 — 快速構造請求頭!

我們在寫爬蟲構建請求的時候，不可避免地要添加請求頭( headers )，一般來說，我們只要添加 user-agent 就能滿足絕大部分需求了 但這並不是絕對的，有些請求單單添加一個 user-agent 是不能獲取到數據的，在不知道是缺少哪個請求頭參數的情況下，我一般會先把所有參數全部添加上，然後再逐個排除。 如果是後面這種情況，相信大家都會有這種感覺：手動將瀏覽器中請求頭複製粘貼然後構造成字典

>>阅读原文<<