1、相關(guān)資料

官方文檔：http://htmlparser.sourceforge.net/samples.html

API：http://htmlparser.sourceforge.net/javadoc/index.html

其它HTML 解釋器：jsoup等。由于HtmlParser自2006年以后就再?zèng)]更新，目前很多人推薦使用jsoup代替它。

2、使用HtmlPaser的關(guān)鍵步驟

(1)通過Parser類創(chuàng)建一個(gè)解釋器

(2)創(chuàng)建Filter或者Visitor

(3)使用parser根據(jù)filter或者visitor來取得所有符合條件的節(jié)點(diǎn)

(4)對(duì)節(jié)點(diǎn)內(nèi)容進(jìn)行處理

3、使用Parser的構(gòu)造函數(shù)創(chuàng)建解釋器

對(duì)于大多數(shù)使用者來說，使用最多的是通過一個(gè)URLConnection或者一個(gè)保存有網(wǎng)頁內(nèi)容的字符串來初始化Parser，或者使用靜態(tài)函數(shù)來生成一個(gè)Parser對(duì)象。ParserFeedback的代碼很簡(jiǎn)單，是針對(duì)調(diào)試和跟蹤分析過程的，一般不需要改變。而使用Lexer則是一個(gè)相對(duì)比較高級(jí)的話題，放到以后再討論吧。

這里比較有趣的一點(diǎn)是，如果需要設(shè)置頁面的編碼方式的話，不使用Lexer就只有靜態(tài)函數(shù)一個(gè)方法了。對(duì)于大多數(shù)中文頁面來說，好像這是應(yīng)該用得比較多的一個(gè)方法。

4、HtmlPaser使用Node對(duì)象保存各節(jié)點(diǎn)信息

(1)訪問各個(gè)節(jié)點(diǎn)的方法

Node?getParent?()：取得父節(jié)點(diǎn)

NodeList?getChildren?()：取得子節(jié)點(diǎn)的列表

Node?getFirstChild?()：取得第一個(gè)子節(jié)點(diǎn)

Node?getLastChild?()：取得最后一個(gè)子節(jié)點(diǎn)

Node?getPreviousSibling?()：取得前一個(gè)兄弟(不好意思，英文是兄弟姐妹，直譯太麻煩而且不符合習(xí)慣，對(duì)不起女同胞了)

Node?getNextSibling?()：取得下一個(gè)兄弟節(jié)點(diǎn)

(2)取得Node內(nèi)容的函數(shù)

String?getText?()：取得文本

String?toPlainTextString()：取得純文本信息。

String?toHtml?()?：取得HTML信息(原始HTML)

String?toHtml?(boolean verbatim)：取得HTML信息(原始HTML)

String?toString?()：取得字符串信息(原始HTML)

Page?getPage?()：取得這個(gè)Node對(duì)應(yīng)的Page對(duì)象

int?getStartPosition?()：取得這個(gè)Node在HTML頁面中的起始位置

int?getEndPosition?()：取得這個(gè)Node在HTML頁面中的結(jié)束位置

5、使用Filter訪問Node節(jié)點(diǎn)及其內(nèi)容

(1)Filter的種類

顧名思義，Filter就是對(duì)于結(jié)果進(jìn)行過濾，取得需要的內(nèi)容。

所有的Filter均實(shí)現(xiàn)了NodeFilter接口，此接口只有一個(gè)方法Boolean accept(Node node)，用于確定某個(gè)節(jié)點(diǎn)是否屬于此Filter過濾的范圍。

HTMLParser在org.htmlparser.filters包之內(nèi)一共定義了16個(gè)不同的Filter，也可以分為幾類。

TagNameFilterHasAttributeFilter

HasChildFilter

HasParentFilter

HasSiblingFilter

IsEqualFilter

AndFilterNotFilter

OrFilter

XorFilter

NodeClassFilterStringFilter

LinkStringFilter

LinkRegexFilter

RegexFilter

CssSelectorNodeFilter

除此以外，可以自定義一些Filter，用于完成特殊需求的過濾。

(2)Filter的使用示例

以下示例用于提取HTML文件中的鏈接

packageorg.ljh.search.html;

importjava.util.HashSet;

importjava.util.Set;

importorg.htmlparser.Node;

importorg.htmlparser.NodeFilter;

importorg.htmlparser.Parser;

importorg.htmlparser.filters.NodeClassFilter;

importorg.htmlparser.filters.OrFilter;

importorg.htmlparser.tags.LinkTag;

importorg.htmlparser.util.NodeList;

importorg.htmlparser.util.ParserException;

//本類創(chuàng)建用于HTML文件解釋工具

publicclassHtmlParserTool?{

//?本方法用于提取某個(gè)html文檔中內(nèi)嵌的鏈接

publicstaticSet?extractLinks(String?url,?LinkFilter?filter)?{

Set?links?=?newHashSet();

try{

//?1、構(gòu)造一個(gè)Parser，并設(shè)置相關(guān)的屬性

Parser?parser?=?newParser(url);

parser.setEncoding("gb2312");

//?2.1、自定義一個(gè)Filter，用于過濾標(biāo)簽，然后取得標(biāo)簽中的src屬性值

NodeFilter?frameNodeFilter?=?newNodeFilter()?{

@Override

publicbooleanaccept(Node?node)?{

if(node.getText().startsWith("frame?src="))?{

returntrue;

}?else{

returnfalse;

}

}

};

//2.2、創(chuàng)建第二個(gè)Filter，過濾標(biāo)簽

NodeFilter?aNodeFilter?=?newNodeClassFilter(LinkTag.class);

//2.3、凈土上述2個(gè)Filter形成一個(gè)組合邏輯Filter。

OrFilter?linkFilter?=?newOrFilter(frameNodeFilter,?aNodeFilter);

//3、使用parser根據(jù)filter來取得所有符合條件的節(jié)點(diǎn)

NodeList?nodeList?=?parser.extractAllNodesThatMatch(linkFilter);

//4、對(duì)取得的Node進(jìn)行處理

for(inti?=0;?i

Node?node?=?nodeList.elementAt(i);

String?linkURL?=?"";

//如果鏈接類型為

if(nodeinstanceofLinkTag){

LinkTag?link?=?(LinkTag)node;

linkURL=?link.getLink();

}else{

//如果類型為

String?nodeText?=?node.getText();

intbeginPosition?=?nodeText.indexOf("src=");

nodeText?=?nodeText.substring(beginPosition);

intendPosition?=?nodeText.indexOf("?");

if(endPosition?==?-1){

endPosition?=?nodeText.indexOf(">");

}

linkURL?=?nodeText.substring(5,?endPosition?-1);

}

//判斷是否屬于本次搜索范圍的url

if(filter.accept(linkURL)){

links.add(linkURL);

}

}

}?catch(ParserException?e)?{

e.printStackTrace();

}

returnlinks;

}

}

程序中的一些說明：

(1)通過Node#getText()取得節(jié)點(diǎn)的String。

(2)node instanceof TagLink，即節(jié)點(diǎn)，其它還有很多的類似節(jié)點(diǎn)，如tableTag等，基本上每個(gè)常見的html標(biāo)簽均會(huì)對(duì)應(yīng)一個(gè)tag。官方文檔說明如下：

The nodes package has the concrete node implementations.

The tags package contains specific tags.

因此可以通過此方法直接判斷一個(gè)節(jié)點(diǎn)是否某個(gè)標(biāo)簽內(nèi)容。

其中用到的LinkFilter接口定義如下：

packageorg.ljh.search.html;

//本接口所定義的過濾器，用于判斷url是否屬于本次搜索范圍。

publicinterfaceLinkFilter?{

publicbooleanaccept(String?url);

}

測(cè)試程序如下：

packageorg.ljh.search.html;

importjava.util.Iterator;

importjava.util.Set;

importorg.junit.Test;

publicclassHtmlParserToolTest?{

@Test

publicvoidtestExtractLinks()?{

String?url?=?"http://www.baidu.com";

LinkFilter?linkFilter?=?newLinkFilter(){

@Override

publicbooleanaccept(String?url)?{

if(url.contains("baidu")){

returntrue;

}else{

returnfalse;

}

}

};

Set?urlSet?=?HtmlParserTool.extractLinks(url,?linkFilter);

Iterator?it?=?urlSet.iterator();

while(it.hasNext()){

System.out.println(it.next());

}

}

}

輸出結(jié)果如下：

http://www.hao123.com

http://www.baidu.com/

http://www.baidu.com/duty/

http://v.baidu.com/v?ct=301989888&rn=20&pn=0&db=0&s=25&word=

http://music.baidu.com

http://ir.baidu.com

http://www.baidu.com/gaoji/preferences.html

http://news.baidu.com

http://map.baidu.com

http://music.baidu.com/search?fr=ps&key=

http://image.baidu.com

http://zhidao.baidu.com

http://image.baidu.com/i?tn=baiduimage&ct=201326592&lm=-1&cl=2&nc=1&word=

http://www.baidu.com/more/

http://shouji.baidu.com/baidusearch/mobisearch.html?ref=pcjg&from=1000139w

http://wenku.baidu.com

http://news.baidu.com/ns?cl=2&rn=20&tn=news&word=

https://passport.baidu.com/v2/?login&tpl=mn&u=http%3A%2F%2Fwww.baidu.com%2F

http://www.baidu.com/cache/sethelp/index.html

http://zhidao.baidu.com/q?ct=17&pn=0&tn=ikaslist&rn=10&word=&fr=wwwt

http://tieba.baidu.com/f?kw=&fr=wwwt

http://home.baidu.com

https://passport.baidu.com/v2/?reg&regType=1&tpl=mn&u=http%3A%2F%2Fwww.baidu.com%2F

http://v.baidu.com

http://e.baidu.com/?refer=888

;

http://tieba.baidu.com

http://baike.baidu.com

http://wenku.baidu.com/search?word=&lm=0&od=0

http://top.baidu.com

http://map.baidu.com/m?word=&fr=ps01000

總結(jié)

以上是生活随笔為你收集整理的java htmlparser 使用教程_HtmlParser基础教程的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。