java + selenium + ChromeDiver 實現網絡爬蟲 （一）實現登錄頁訪問

今天接到個新活，主要是想要爬取數據。四年前自己用java寫過一個簡單的爬蟲demo，但是有侷限性。只能爬取網站給定的可爬地址，不然就會死循環。爬來的數據非常亂，不可以對複雜js進行解析。 今天接到這個需求是想爬取幾個網站，存到自己的搜索引擎裏，搜索關鍵字把這個數據的所有信息展示，包括下載附件等信息。另一種是數據庫信息的爬取。 網站信息爬取我們選的是selenium + ChromeDiver，數據

>>阅读原文<<