使用SpringBoot + selenium-java 作爬蟲

題記 最近發現了springboot自己就集成了selenium-java ,就拿來研究了一下,分佈式爬蟲是很大的一個架構,也比較複雜,沒作研究,仍是對爬蟲的客戶端實現有點興趣,就想着用java作一個小爬蟲客戶端,其實selenium是作測試的,不過來拿來作小爬蟲仍是不錯的,能真實模擬用戶,不用擔憂異步加載爬取不到,還有一些元素獲取不方便,更值得一提的是selenium-java 提供的元素獲取的
相關文章
相關標籤/搜索