定向爬蟲 - Python模擬新浪微博登錄

當我們試圖從新浪微博抓取數據時，我們會發現網頁上提示未登錄，無法查看其他用戶的信息。 模擬登錄是定向爬蟲製作中一個必須克服的問題，只有這樣才能爬取到更多的內容。 實現微博登錄的方法有很多，一般我們在模擬登錄時首選WAP版。 因爲PC版網頁源碼中包括很多的js代碼，提交的內容也更多，不適合機器模擬登錄。 我們實現微博登錄的大體思路是這樣的： 用抓包工具把正常登錄時要提交的字段都記錄下來; 模擬提交這

>>阅读原文<<