Python網絡爬蟲筆記(四):使用selenium獲取動態加載的內容

(一)  說明 上一篇只能下載一頁的數據,第2、3、4....100頁的數據沒法獲取,在上一篇的基礎上修改了下,使用selenium去獲取所有頁的href屬性值。 使用selenium去模擬瀏覽器有點麻煩,例如有300頁就要點300次(按博客園這種一頁20條,也就是6000條數據。要是幾百萬條,這個就得點好長時間了) 研究下有沒有辦法調用JS修改頁面默認顯示的數據條數(例如:博客園默認1頁顯示20
相關文章
相關標籤/搜索