Python爬蟲爬取動態頁面思路+實例（一）

簡介 有時候，咱們天真無邪的使用urllib庫或Scrapy下載HTML網頁時會發現，咱們要提取的網頁元素並不在咱們下載到的HTML之中，儘管它們在瀏覽器裏看起來唾手可得。javascript 這說明咱們想要的元素是在咱們的某些操做下經過js事件動態生成的。舉個例子，咱們在刷QQ空間或者微博評論的時候，一直往下刷，網頁愈來愈長，內容愈來愈多，就是這個讓人又愛又恨的動態加載。html 爬取動態頁面目

>>阅读原文<<