java + selenium + ChromeDiver 實現網絡爬蟲 (一)實現登錄頁訪問

今天接到個新活,主要是想要爬取數據。四年前自己用java寫過一個簡單的爬蟲demo,但是有侷限性。只能爬取網站給定的可爬地址,不然就會死循環。爬來的數據非常亂,不可以對複雜js進行解析。 今天接到這個需求是想爬取幾個網站,存到自己的搜索引擎裏,搜索關鍵字把這個數據的所有信息展示,包括下載附件等信息。另一種是數據庫信息的爬取。 網站信息爬取我們選的是selenium + ChromeDiver,數據
相關文章
相關標籤/搜索