爬取今日頭條當心（新）得

最近在學習爬取頭條，廢話很少說直接簡單回顧一下，我想爬取每一個搜索頁面中的圖片連接，而且保存起來，但由於整個網頁源碼是被js渲染過的，因此沒法直接從網頁中爬取結果頁面連接 如上圖所示，爬取的結果不是咱們想要的，想要的是axjs請求後被渲染的網頁代碼。 隨便搜索一個關鍵詞後，通過查找發現渲染的文件在xhr的json文件中，如圖： 因而可知每一個結果頁面的連接都在dada:[0:{***,***,ar

>>阅读原文<<