WebFetch 是無依賴極簡網頁爬取組件

WebFetch 是無依賴極簡網頁爬取組件，能在移動設備上運行的微型爬蟲。

WebFetch 要達到的目標：

• 沒有第三方依賴jar包

• 減小內存使用

• 提升CPU利用率

• 加快網絡爬取速度

• 簡潔明瞭的api接口

• 能在Android設備上穩定運行

• 小巧靈活能夠方便集成的網頁抓取組件

使用文檔

WebFetch的使用很是簡單，讓小白用戶快速上手，WebFetch爲用戶配置默認頁面處理方法，默認將抓取到的頁面信息使用System.out.print輸出到控制檯（經過配置PageHandler修改默認操做）。

啓動代碼：

WebFetch webFetch = new WebFetch(); 
webFetch.addBeginTask("https://github.com").start();

中止代碼：

webFetch.close();

WebFetch再執行start()方法後不會阻塞程序執行，能夠加入多個網頁地址，目前支持http與https，至少須要一個起始地址。

第一個版本還須要不斷改進與完善，但願你們提出寶貴的改進意見，感謝你們的支持。

聯繫方式：wanghailiang333@qq.com

 

 

hexleo/WebFetch

star 43 | fork 16

無依賴極簡網頁爬取組件，能在移動設備上運行的微型爬蟲。

issues:

• #1 新版本v0.1.x-改進

  hexleo 3個月前

最近提交:

• 15ac3982d   add Example README.md

    hexleo 3個月前
• bcd1f8fc4   add WebFetch Example

    hexleo 3個月前
• 5de1b51dc   mod README.md

    hexleo 3個月前

下載zip master分支 代碼最近更新：2015-05-25