java爬知乎問題的所有回答

突然想爬知乎問題的答案, 然後就開始研究知乎頁面,剛開始是爬瀏覽器渲染好的頁面, 解析DOM,找到特定的標籤, 後來發現,每次只能得到頁面加載出來的幾條數據,想要更多就要下拉頁面,然後瀏覽器自動加載幾條數據,這樣的話解析DOM沒用啊, 不能獲得所有的回答,然後就搜索了下問題,發現可以使用模擬瀏覽器發送請求給服務器,獲取服務器響應,解析返回的數據, 有了方法,接着就是分析網絡請求了, 我用的是火狐瀏
相關文章
相關標籤/搜索