WebFetch 是無依賴極簡(jiǎn)網(wǎng)頁(yè)爬取組件，能在移動(dòng)設(shè)備上運(yùn)行的微型爬蟲。

WebFetch 要達(dá)到的目標(biāo)：

• 沒有第三方依賴jar包

• 減少內(nèi)存使用

• 提高CPU利用率

• 加快網(wǎng)絡(luò)爬取速度

• 簡(jiǎn)潔明了的api接口

• 能在Android設(shè)備上穩(wěn)定運(yùn)行

• 小巧靈活可以方便集成的網(wǎng)頁(yè)抓取組件

使用文檔

WebFetch的使用非常簡(jiǎn)單，讓小白用戶快速上手，WebFetch為用戶配置默認(rèn)頁(yè)面處理方法，默認(rèn)將抓取到的頁(yè)面信息使用System.out.print輸出到控制臺(tái)（通過配置PageHandler修改默認(rèn)操作）。

啟動(dòng)代碼：

WebFetch?webFetch?=?new?WebFetch();? webFetch.addBeginTask("https://github.com").start();

停止代碼：

webFetch.close();

WebFetch再執(zhí)行start()方法后不會(huì)阻塞程序執(zhí)行，可以加入多個(gè)網(wǎng)頁(yè)地址，目前支持http與https，至少需要一個(gè)起始地址。

第一個(gè)版本還需要不斷改進(jìn)與完善，希望大家提出寶貴的改進(jìn)意見，感謝大家的支持。

聯(lián)系方式：wanghailiang333@qq.com

?

?

hexleo/WebFetch

star?43 | fork?16

無依賴極簡(jiǎn)網(wǎng)頁(yè)爬取組件，能在移動(dòng)設(shè)備上運(yùn)行的微型爬蟲。 issues:

• #1 新版本v0.1.x-改進(jìn) hexleo 3個(gè)月前

最近提交:

• 15ac3982d ? add Example README.md ? hexleo 3個(gè)月前
• bcd1f8fc4 ? add WebFetch Example ? hexleo 3個(gè)月前
• 5de1b51dc ? mod README.md ? hexleo 3個(gè)月前

下載zip master分支?代碼最近更新：2015-05-25

總結(jié)

以上是生活随笔為你收集整理的WebFetch 是无依赖极简网页爬取组件的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。