爬蟲總結1——爬取異步請求（XHR/JS）數據方法

在爬取到http://icloudy.cechina.cn/網頁的時候，發現點擊「加載更多」會出現新的內容，可是網頁卻沒有發生變化，因而打開F12查看Network發現，會每次點擊都會多出來一行，以下：python 隨便點開一個就能夠看到咱們真正訪問的URL地址：正則表達式 從這裏咱們就能夠清楚的在xhr返回的header裏面看到異步請求的url，這裏咱們直接訪問該url（或者在preview裏面

>>阅读原文<<