利用Selenium模擬頁面滾動,結合PicCrawler抓取網頁上的圖片

在做圖片爬蟲時,經常會遇到一些網站需要鼠標不斷滾動網頁纔會繼續響應,這對傳統的HttpClient是一件很困難的事情,至少我不知道如何處理。幸好,我找到了Selenium。 Selenium Selenium 是一組軟件工具集,每一個都有不同的方法來支持測試自動化。大多數使用 Selenium 的QA工程師只關注一兩個最能滿足他們的項目需求的工具上。然而,學習所有的工具你將有更多選擇來解決不同類型
相關文章
相關標籤/搜索