影響最深的BUG

最近遇到一個bug,就是在爬蟲進入一個網站的時候，被攔截，返回400的錯誤，可是正經常使用瀏覽器打開就沒有問題，後來查詢發現，流量較大的服務器會檢測你的get請求裏面的一些header,好比瀏覽器什麼信息，爲了防止惡意的爬蟲。因此須要本身假裝成瀏覽器的get請求，具體代碼以下html req = urllib.request.Request(url, headers = { 'Connec

>>阅读原文<<