python反爬蟲解決方法——模擬瀏覽器上網

之前第一次練習爬蟲的時候看網上的代碼有些會設置headers，然後後面的東西我又看不懂，今天終於知道了原來這東西是用來模擬瀏覽器上網用的，因爲有些網站會設置反爬蟲機制，所以如果要獲取內容的話，需要使用瀏覽器上網纔可以。 獲取headers的方法很簡單，首先打開審查元素界面，有個Network選項，點進去會顯示如下： 接下來刷新一下： 點擊第一個5151757後右邊會顯示Headers選項，我們所需

>>阅读原文<<