美麗湯的請求 - 小甜餅豆瓣爬蟲

python3  requests + beautiful soup4 去爬「豆瓣最受歡迎的影評」，目的是爬取這些影評的作者的個人資料     1.模擬登陸 豆瓣er知道，上豆瓣時，如果是未登錄狀態，訪問幾個頁面後，豆瓣會跳轉到一個登錄頁面請求你註冊/登錄。所以，小爬蟲需要解決這個問題才能爬到終點。 這裏的解決方案就是模擬登陸。 一種是先分析這個網站登錄時要POST哪些數據，然後通過POST這些數

>>阅读原文<<