XXL-CRAWLER v1.2.1 發佈,面向對象的分佈式爬蟲框架

版本新特性 1、JS渲染:支持JS渲染方式採集數據,可參考 「爬蟲示例6」; 2、抽象並設計PageLoader,方便自定義和擴展頁面加載邏輯,如JS渲染等。底層提供 「JsoupPageLoader(默認/推薦)」,」HtmlUnitPageLoader」兩種實現,可自定義其他類型PageLoader如 「Selenium」 等; 3、修復Jsoup默認加載1M的限制; 4、爬蟲線程中斷處理優化
相關文章
相關標籤/搜索