python爬蟲爬取新浪新聞的評論數以及部分評論

首先應該去找到評論數所對應的網頁元素： 可以大致猜測，這裏是用JavaScript·去計算評論數量的。 刷新頁面，去觀測頁面的js部分，有沒有對應的鏈接，仔細查看： 找到之後，點擊Preview，看到內部結構： 可以看出count部分，total代表了參與人數，show字段代表了評論數 就可以判斷這就是需要的鏈接。也可以看出這是一種json數據。點擊header，複製鏈接URL 最後正則表達式部分

>>阅读原文<<