爬蟲抓取新浪微博數據

工具：雲採爬蟲 目標：抓取某個博主的全部微博 分析網頁結構： 我們抓取的思路是模擬瀏覽器自動訪問頁面抓取。 我們來看一下頁面結構，首先每個微博列表，必須進行三四次的下拉加載，然後底部有個「下一頁」的按鈕。 如此，不斷循環。         登錄的問題 抓取需要登錄賬號，如何登錄呢？ 登錄是不需要驗證碼的，如果你輸入錯了，纔會叫你輸入驗證碼，所以登錄是沒什麼技術難度的。   流程圖設計：   整個流

>>阅读原文<<