爬取《流浪地球》過程中遇到的反爬蟲

這兩天寫了一個爬蟲，爬取豆瓣中《流浪地球》的影評，並分析這些影評。這篇文章我不講如何爬取的，來說一說我在爬取的過程中遇到的反爬蟲。 必要的請求頭的字段 對於上面的每一個請求字段，把必要的加在請求頭上，比如：referer，user-agent等。  用戶登陸問題 剛開始，我認爲豆瓣不需要登陸就能看到所有的評論，但是，在實際的操作過程中，如果你不登陸豆瓣網，那麼每一頁第10個影評你點擊去必定是下面這

>>阅读原文<<