NekoHTML學習筆記

　　J. Andrew Clark用Java寫了一系列的工具(Java APIs)，NekoHTML是其中之一。
　　NekoHTML是一個簡單地HTML掃描器和標簽補償器(tag balancer) ,使得程序能解析HTML文檔并用標準的XML接口來訪問其中的信息。這個解析器能投掃描HTML文件并“修正”許多作者（人或機器）在編寫HTML文檔過程中常犯的錯誤。NekoHTML能增補缺失的父元素、自動用結束標簽關閉相應的元素，以及不匹配的內嵌元素標簽。NekoHTML的開發使用了Xerces Native Interface (XNI)，后者是Xerces2的實現基礎。

　　

一、運行要求

　　從NekoHTML主頁上下載nekohtml-latest.zip，目前版本是0.8.
　　NekoHTML要求運行在java1.1或更高版本，Xerces-J 2.0或更高版本。（我在試用時，隨便拿了個xerces的包來用，結果例如運行老時不能通過，折騰半天后才發現版本不夠所致.:)
　　

二、使用NekoHTML

1、透明地創建HTML解析器
　　利用Xerces2.0為基礎，應用程序通過JAXP實例化解析器對象時，可以透明地創建HTML解析器，此時只需要將NekoHTML的jar文件，在CLASSPATH中放在Xerces的jar文件之前即可。nekohtmlXni.jar中的META-INF/services/org.apache.xerces.xni.parser.XMLParserConfiguration文件會被Xerces的讀取并取代標準的設置文件，此處org.apache.xerces.xni.parser.XMLParserConfiguration文件的內容就是一個字符串“org.cyberneko.html.HTMLConfiguration”。這種方法的好處是簡單透明，缺點是影響了Xerces在其它情況下的使用。

2、便利的HTML解析器類
　　要想避免上述的問題，可以使用org.cyberneko.html.parsers包的DOM和SAX解析器類來創建解析器，這兩個類都使用了HTMLConfiguration類。解析器一旦創建之后，就可以解析HTML文件，并用標準的XML接口來訪問文件中的信息，就象面對的是一個XML文件一樣。
　　下面的代碼是NekoHTML自帶的例程，我改了一下，使其可以顯示HTML文件內容，而不顯示類的名字。

package sample;

import org.cyberneko.html.parsers.DOMParser;
import org.w3c.dom.Document;
import org.w3c.dom.Node;

public class TestHTMLDOM {
public static void main(String[] argv) throws Exception {
DOMParser parser = new DOMParser();
for (int i = 0; i < argv.length; i++) {
parser.parse(argv[i]);
print(parser.getDocument(), "");
}
}
public static void print(Node node, String indent) {
// System.out.println(indent+node.getClass().getName());
if (node.getNodeValue() != null){
if("".equals(node.getNodeValue().trim())){
}else{
System.out.print(indent);
System.out.println(node.getNodeValue());
}
}

Node child = node.getFirstChild();
while (child != null) {
print(child, indent+" ");
child = child.getNextSibling();
}
}
}

編譯運行如下： cd $NEKOHTML_HOME
cp build_html.xml build.xml
ant
java -cp nekohtml.jar;nekohtmlSamples.jar;xmlParserAPIs.jar;xercesImpl.jar sample.TestHTMLDOM test.html
如果一切正常可以顯示HTML的內容了。
3、文檔片段解析
　　除了DOM和SAX類，NekoHTML還提供了一個實驗性質的DOMFragmentParser類，用以解析HTML文件的片段。我個人認為，由于瀏覽器的強大的容錯能力，即使一個片段的HTML文件，也可以正確顯示，由此也變相地造成了很多人不再關心的HTML的完整要求了。這個類，也許將是用的最多的。下面，看看nutch是如何使用nekoHTML的。 package net.nutch.fetcher;
...
import org.cyberneko.html.parsers.*;
import org.xml.sax.*;
import org.w3c.dom.*;
import org.w3c.dom.html.*;
import org.apache.html.dom.*;

/* A simple fetcher. */
public class Fetcher {
....
private DOMFragmentParser parser = new DOMFragmentParser();
....
private void handleFetch(URL url, FetchListEntry fle, Http.Response response)
throws IOException, SAXException {

//判斷HTTP應答包的類型，只放過html文件
String contentType = response.getHeader("Content-Type");
if (contentType != null && !contentType.startsWith("text/html"))
throw new IOException("Unknown content-type: " + contentType);
//創建文件片段對象
DocumentFragment node = new HTMLDocumentImpl().createDocumentFragment();
//解析HTML內容
parser.parse(new InputSource(new ByteArrayInputStream(response.getContent())),node);
//取得全部文本內容
StringBuffer sb = new StringBuffer();
getText(sb, node);
String text = sb.toString();
//取得標題信息
sb.setLength(0);
getTitle(sb, node);
String title = sb.toString().trim();
//取得該頁所有的出鏈
ArrayList l = new ArrayList();
getOutlinks(url, l, node);

//顯示結果，存儲信息
Outlink[] outlinks = (Outlink[])l.toArray(new Outlink[l.size()]);
LOG.fine("found " + outlinks.length + " outlinks in " + url);

outputPage(new FetcherOutput(fle, MD5Hash.digest(response.getContent()),
true, title, outlinks),
new FetcherContent(response.getContent()),
new FetcherText(text));
}
private static void getText(StringBuffer sb, Node node) {
if (node.getNodeType() == Node.TEXT_NODE) {
sb.append(node.getNodeValue());//取得結點值，即開始與結束標簽之間的信息
}
NodeList children = node.getChildNodes();
if ( children != null ) {
int len = children.getLength();
for ( int i = 0; i < len; i++ ) {
getText(sb, children.item(i));//遞歸遍歷DOM樹
}
}
}

private static boolean getTitle(StringBuffer sb, Node node) {
if (node.getNodeType() == Node.ELEMENT_NODE) {
if ("title".equalsIgnoreCase(node.getNodeName())) {
getText(sb, node);
return true;
}
}
NodeList children = node.getChildNodes();
if (children != null) {
int len = children.getLength();
for (int i = 0; i < len; i++) {
if (getTitle(sb, children.item(i))) {
return true;
}
}
}
return false;
}

private static void getOutlinks(URL base, ArrayList outlinks, Node node) {
if (node.getNodeType() == Node.ELEMENT_NODE) {
if ("a".equalsIgnoreCase(node.getNodeName())) {
StringBuffer linkText = new StringBuffer();
getText(linkText, node);

NamedNodeMap attrs = node.getAttributes();
String target= null;
for (int i= 0; i < attrs.getLength(); i++ ) {
if ("href".equalsIgnoreCase(attrs.item(i).getNodeName())) {
target= attrs.item(i).getNodeValue();//在DOM樹中，屬性是一個結點。
break;
}
}
if (target != null)
try {
URL url = new URL(base, target);
outlinks.add(new Outlink(url.toString(),linkText.toString().trim()));
} catch (MalformedURLException e) {
// don't care
}
}
}
NodeList children = node.getChildNodes();
if ( children != null ) {
int len = children.getLength();
for ( int i = 0; i < len; i++ ) {
getOutlinks(base, outlinks, children.item(i));//遞歸遍歷DOM樹
}
}
}
....
}

注意，此處傳遞給解析過程parse的文檔片段對象，必須是由org.w3c.dom.html.HTMLDocument類型的DOM文檔對象創建，否則有異常。
　　HTMLConfiguration可以用于創建任何基于XNI解析器，可參考下例 package sample;

import org.apache.xerces.parsers.AbstractSAXParser;
import org.cyberneko.html.HTMLConfiguration;

public class HTMLSAXParser extends AbstractSAXParser {
public HTMLSAXParser() {
super(new HTMLConfiguration());
}
}

三、設置解析器參數

　　為了更加精確的控制解析的動作，nekohtml提供了相應的設置函數。如下列： // settings on HTMLConfiguration
org.apache.xerces.xni.parser.XMLParserConfiguration config =
new org.cyberneko.html.HTMLConfiguration();
config.setFeature("http://cyberneko.org/html/features/augmentations", true);
config.setProperty("http://cyberneko.org/html/properties/names/elems", "lower");

// settings on DOMParser
org.cyberneko.html.parsers.DOMParser parser =
new org.cyberneko.html.parsers.DOMParser();
parser.setFeature("http://cyberneko.org/html/features/augmentations", true);
parser.setProperty("http://cyberneko.org/html/properties/names/elems", "lower");

nekohtml功能(feature)列表

功能	默認值	描述
http://cyberneko.org/html/features/balance-tags	True	是否允許增補缺失的標簽。如果要以XML方式操作HTML文件，此值必須為真。此處提供設置功能，為了性能的原因。
http://cyberneko.org/html/features/balance-tags/ignore-outside-content	False	是否忽略文檔根元素以后的數據。如果為false，<html>和<bod>被忽略，所有的內容都被解析。
http://cyberneko.org/html/features/document-fragment	False	解析HTML片段時是否作標簽增補。此功能不要用在DOMParser上，而要用在DOMFragmentParser上。
http://apache.org/xml/features/scanner/notify-char-refs	False	當遇到字符實體引用（如＆#x20;）是否將(#x20)報告給相應地文檔處理器。
http://apache.org/xml/features/scanner/notify-builtin-refs	False	當遇到XML內建的字符實體引用（如＆amp;）是否將(amp)報告給相應地文檔處理器。
http://cyberneko.org/html/features/scanner/notify-builtin-refs	False	當遇到HTML內建的字符實體引用（如＆copy;）是否將(copy)報告給相應地文檔處理器。
http://cyberneko.org/html/features/scanner/script/strip-comment-delims	False	是否剝掉<script>元素中的<!-- -->等注釋符。
http://cyberneko.org/html/features/augmentations	False	是否將與HTML事件有關的infoset項包括在解析管道中。
http://cyberneko.org/html/features/report-errors	False	是否報告錯誤。

nekohtml屬性列表

屬性	默認值	值域	描述
http://cyberneko.org/html/properties/filters	null	XMLDocumentFilter[]	在解析管道的最后按數組順序追加自定義的處理組件（過濾器），必須為數組類型。
http://cyberneko.org/html/properties/default-encoding	Windows-1252	IANA encoding names	默認的HTML文件編碼
http://cyberneko.org/html/properties/names/elems	upper	upper,lower,match	如果整理識別出的元素名稱
http://cyberneko.org/html/properties/names/attrs	lower	upper,lower,no-change	如果整理識別出的屬性名稱

四、管道過濾器

　　Xerces Native Interface (XNI)定義了一個解析器配置框架，在那兒一個個解析器以模塊化組件的形式組成一個管道。這樣一來，通過重新安排已有組件和/或新定制開發的組件，就可完成一個新的解析器配置工作。由于nekohtml是采用這個配置框架開發的，所以對解析器新增功能就很簡單通過在默認的nekohtml解析管道的末端增加文檔過濾器來實現。
　　要新開發一個過濾器，很簡單地實現xerces2的org.apache.xerces.xni.parser包中的XMLDocumentFilter接口即可。這個接口，一方面使組件成為管道中上一級的事件處理器，另一方面又成為下級的信息源。針對nekohtml的過濾器開發，只需簡單地擴展org.cyberneko.html.filters包中的DefaultFilter類即可。
　　將自行開發的過濾器加入管道，可參考以下兩種辦法： XMLDocumentFilter noop = new DefaultFilter();
XMLDocumentFilter[] filters = { noop };

XMLParserConfiguration parser = new HTMLConfiguration();
parser.setProperty("http://cyberneko.org/html/properties/filters", filters);

　　nekohtml的org.cyberneko.html.filters 包中有DefaultFilter、
ElementRemover、Identity、Writer，能實現動態插入內容、刪除元素、序列化HTML文檔等，不詳細述。

總結

以上是生活随笔為你收集整理的nekohtml资料的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。