Python爬蟲下載嗅事百科出現BadStatusLine錯誤

在寫爬取嗅事百科段子的爬蟲時候,使用urllib2下載網頁內容,代碼拋出如下異常: 後來發現是因爲嗅事百科網站訪問的時候,後臺進行了Header校驗,在調用urlopen方法之前,加上Header內容就可以了。更改後的代碼如下:紅框圈起來的是加上header
相關文章
相關標籤/搜索