爬蟲從入門到放棄——抓取前端渲染的頁面

抓取前端渲染的頁面 隨着AJAX技術不斷的普及，以及如今AngularJS這種Single-page application框架的出現，如今js渲染出的頁面愈來愈多。對於爬蟲來講，這種頁面是比較討厭的：僅僅提取HTML內容，每每沒法拿到有效的信息。那麼如何處理這種頁面呢？總的來講有兩種作法：html 在抓取階段，在爬蟲中內置一個瀏覽器內核，執行js渲染頁面後，再抓取。這方面對應的工具備Seleni

>>阅读原文<<