python爬蟲之pyppeteer的合理使用

1.背景使用     因爲工作原因的原因去爬取部分政府網站的公開數據，因爲政府網站的反爬一直以來是屬於比較難的，比如今天就遇到一個比較*蛋的網站： 此網站定眼一看是個post請求，常規方法加上data去請求一般就可以處理了 但是讓人頭疼的一點是它的下一頁不在post的data內，這樣的話常規請求只能請求一頁就很麻煩了。就沒法獲取所有的數據了。一般這樣的網站使用常規手段就沒法用了，所以在這裏告訴各位

>>阅读原文<<