爬取Ajax動態加載網頁--以美團爲例

在實訓期間我們需要爬取美團、攜程等網頁關於某旅遊景區的評論，但是我們發現我無法通過以前的方法爬取他們，加載相應的URL都無法加載評論，所以我就想這是不是通過其他方法加載網頁。網上查了一下，發現這種加載評論的方式是Ajax動態加載網頁，每次我點下一頁它的URL都不會動，但它的評論還是加載出來啦。 那麼怎麼爬取這種網頁，其實原理很簡單，就可以簡單理解爲在不想刷新整個頁面，所以單純的將某一部分來進行刷新

>>阅读原文<<