詳解用python寫網絡爬蟲-爬取新浪微博評論

新浪微博需要登錄才能爬取,這裏使用m.weibo.cn這個移動端網站即可實現簡化操作,用這個訪問可以直接得到的微博id。 分析新浪微博的評論獲取方式得知,其採用動態加載。所以使用json模塊解析json代碼 單獨編寫了字符優化函數,解決微博評論中的嘈雜干擾字符 本函數是用python寫網絡爬蟲的終極目的,所以採用函數化方式編寫,方便後期優化和添加各種功能
相關文章
相關標籤/搜索