NekoHTML?學習筆記

　　J. Andrew Clark?用Java寫了一系列的工具?(Java APIs)，NekoHTML?是其中之一。
　　NekoHTML?是一個簡單地HTML掃描器和標簽補償器(tag balancer) ,使得程序能解析HTML文檔并用標準的XML接口來訪問其中的信息。這個解析器能投掃描HTML文件并“修正”許多作者（人或機器）在編寫HTML文檔過程中常犯的錯誤。NekoHTML?能增補缺失的父元素、自動用結束標簽關閉相應的元素，以及不匹配的內嵌元素標簽。NekoHTML?的開發使用了Xerces Native Interface (XNI)，后者是Xerces2的實現基礎。

?

一、運行要求

　　從NekoHTML?主頁上下載nekohtml?-latest.zip，目前版本是0.8.
　　NekoHTML?要求運行在java1.1或更高版本，Xerces-J 2.0或更高版本。（我在試用時，隨便拿了個xerces的包來用，結果例如運行老時不能通過，折騰半天后才發現版本不夠所致.:)

二、使用NekoHTML

1、透明地創建HTML解析器
　　利用Xerces2.0為基礎，應用程序通過JAXP實例化解析器對象時，可以透明地創建HTML解析器，此時只需要將NekoHTML?的 jar文件，在CLASSPATH中放在Xerces的jar文件之前即可。nekohtmlXni.jar中的META-INF/services /org.apache.xerces.xni.parser.XMLParserConfiguration文件會被Xerces的讀取并取代標準的設 置文件，此處org.apache.xerces.xni.parser.XMLParserConfiguration文件的內容就是一個字符串 “org.cyberneko.html.HTMLConfiguration”。這種方法的好處是簡單透明，缺點是影響了Xerces在其它情況下的使 用。

2、便利的HTML解析器類
　　要想避免上述的問題，可以使用org.cyberneko.html.parsers包的DOM和SAX解 析器類來創建解析器，這兩個類都使用了HTMLConfiguration類。解析器一旦創建之后，就可以解析HTML文件，并用標準的XML接口來訪問 文件中的信息，就象面對的是一個XML文件一樣。
　　下面的代碼是NekoHTML?自帶的例程，我改了一下，使其可以顯示HTML文件內容，而不顯示類的名字。

package sample;

import org.cyberneko.html.parsers.DOMParser; import org.w3c.dom.Document; import org.w3c.dom.Node;

public class TestHTMLDOM {public static void main(String[] argv) throws Exception {DOMParser parser = new DOMParser();for (int i = 0; i < argv.length; i++) {parser.parse(argv[i]);print(parser.getDocument(), "");}}public static void print(Node node, String indent) { // System.out.println(indent+node.getClass().getName());if (node.getNodeValue() != null){if("".equals(node.getNodeValue().trim())){}else{System.out.print(indent);System.out.println(node.getNodeValue());}}Node child = node.getFirstChild();while (child != null) {print(child, indent+" ");child = child.getNextSibling();}} }

編譯運行如下：

cd $NEKOHTML?_HOME
cp build_html.xml build.xml
ant
java -cp?nekohtml?.jar;nekohtmlSamples.jar;xmlParserAPIs.jar;xercesImpl.jar sample.TestHTMLDOM test.html

如果一切正常可以顯示HTML的內容了。
3、文檔?片段解析?
　　除了DOM和SAX類，NekoHTML?還 提供了一個實驗性質的DOMFragmentParser類，用以解析HTML文件的片段。我個人認為，由于瀏覽器的強大的容錯能力，即使一個片段的 HTML文件，也可以正確顯示，由此也變相地造成了很多人不再關心的HTML的完整要求了。這個類，也許將是用的最多的。下面，看看nutch是如何使用nekoHTML?的。

package net.nutch.fetcher; ... import org.cyberneko.html.parsers.*; import org.xml.sax.*; import org.w3c.dom.*; import org.w3c.dom.html.*; import org.apache.html.dom.*;

/* A simple fetcher. */ public class Fetcher { ....private DOMFragmentParser parser = new DOMFragmentParser();....private void handleFetch(URL url, FetchListEntry fle, Http.Response response)throws IOException, SAXException {//判斷HTTP應答包的類型，只放過html文件String contentType = response.getHeader("Content-Type");if (contentType != null && !contentType.startsWith("text/html"))throw new IOException("Unknown content-type: " + contentType);//創建文件片段對象DocumentFragment node = new HTMLDocumentImpl().createDocumentFragment();//解析HTML內容parser.parse(new InputSource(new ByteArrayInputStream(response.getContent())),node);//取得全部文本內容StringBuffer sb = new StringBuffer();getText(sb, node);String text = sb.toString();//取得標題信息sb.setLength(0);getTitle(sb, node);String title = sb.toString().trim();//取得該頁所有的出鏈ArrayList l = new ArrayList();getOutlinks(url, l, node);//顯示結果，存儲信息Outlink[] outlinks = (Outlink[])l.toArray(new Outlink[l.size()]);LOG.fine("found " + outlinks.length + " outlinks in " + url);

outputPage(new FetcherOutput(fle, MD5Hash.digest(response.getContent()),true, title, outlinks),new FetcherContent(response.getContent()),new FetcherText(text));}private static void getText(StringBuffer sb, Node node) {if (node.getNodeType() == Node.TEXT_NODE) {sb.append(node.getNodeValue());//取得結點值，即開始與結束標簽之間的信息}NodeList children = node.getChildNodes();if ( children != null ) {int len = children.getLength();for ( int i = 0; i < len; i++ ) {getText(sb, children.item(i));//遞歸遍歷DOM樹}}}

private static boolean getTitle(StringBuffer sb, Node node) {if (node.getNodeType() == Node.ELEMENT_NODE) {if ("title".equalsIgnoreCase(node.getNodeName())) {getText(sb, node);return true;}}NodeList children = node.getChildNodes();if (children != null) {int len = children.getLength();for (int i = 0; i < len; i++) {if (getTitle(sb, children.item(i))) {return true;}}}return false;}

private static void getOutlinks(URL base, ArrayList outlinks, Node node) {if (node.getNodeType() == Node.ELEMENT_NODE) {if ("a".equalsIgnoreCase(node.getNodeName())) {StringBuffer linkText = new StringBuffer();getText(linkText, node);

NamedNodeMap attrs = node.getAttributes();String target= null;for (int i= 0; i < attrs.getLength(); i++ ) {if ("href".equalsIgnoreCase(attrs.item(i).getNodeName())) {target= attrs.item(i).getNodeValue();//在DOM樹中，屬性是一個結點。break;}}if (target != null)try {URL url = new URL(base, target);outlinks.add(new Outlink(url.toString(),linkText.toString().trim()));} catch (MalformedURLException e) {// don't care}}}NodeList children = node.getChildNodes();if ( children != null ) {int len = children.getLength();for ( int i = 0; i < len; i++ ) {getOutlinks(base, outlinks, children.item(i));//遞歸遍歷DOM樹}}} .... }

注意，此處傳遞給解析過程parse的文檔片段對象，必須是由org.w3c.dom.html.HTMLDocument類型的DOM文檔對象創建，否則有異常。?
　　HTMLConfiguration可以用于創建任何基于XNI解析器，可參考下例

package sample;

import org.apache.xerces.parsers.AbstractSAXParser; import org.cyberneko.html.HTMLConfiguration;

public class HTMLSAXParser extends AbstractSAXParser {public HTMLSAXParser() {super(new HTMLConfiguration());} }

?

三、設置解析器參數

　　為了更加精確的控制解析的動作，nekohtml?提供了相應的設置函數。如下列：

// settings on HTMLConfiguration org.apache.xerces.xni.parser.XMLParserConfiguration config =new org.cyberneko.html.HTMLConfiguration(); config.setFeature("http://cyberneko.org/html/features/augmentations", true); config.setProperty("http://cyberneko.org/html/properties/names/elems", "lower");

// settings on DOMParser org.cyberneko.html.parsers.DOMParser parser = new org.cyberneko.html.parsers.DOMParser(); parser.setFeature("http://cyberneko.org/html/features/augmentations", true); parser.setProperty("http://cyberneko.org/html/properties/names/elems", "lower");

?

nekohtml?功能(feature)列表 ?

功能	默認值	描述
http://cyberneko.org/html/features/balance-tags	True	是否允許增補缺失的標簽。如果要以XML方式操作HTML文件，此值必須為真。此處提供設置功能，為了性能的原因。
http://cyberneko.org/html/features/balance-tags/ignore-outside-content	False	是否忽略文檔根元素以后的數據。如果為false，<html>和<bod>被忽略，所有的內容都被解析。
http://cyberneko.org/html/features/document-fragment	False	解析HTML片段時是否作標簽增補。此功能不要用在DOMParser上，而要用在DOMFragmentParser上。
http://apache.org/xml/features/scanner/notify-char-refs	False	當遇到字符實體引用（如＆#x20;）是否將(#x20)報告給相應地文檔處理器。
http://apache.org/xml/features/scanner/notify-builtin-refs	False	當遇到XML內建的字符實體引用（如＆amp;）是否將(amp)報告給相應地文檔處理器。
http://cyberneko.org/html/features/scanner/notify-builtin-refs	False	當遇到HTML內建的字符實體引用（如＆copy;）是否將(copy)報告給相應地文檔處理器。
http://cyberneko.org/html/features/scanner/script/strip-comment-delims	False	是否剝掉<script>元素中的<!-- -->等注釋符。
http://cyberneko.org/html/features/augmentations	False	是否將與HTML事件有關的infoset項包括在解析管道中。
http://cyberneko.org/html/features/report-errors	False	是否報告錯誤。

nekohtml?屬性列表 ?

屬性	默認值	值域	描述
http://cyberneko.org/html/properties/filters	null	XMLDocumentFilter[]	在解析管道的最后按數組順序追加自定義的處理組件（過濾器），必須為數組類型。
http://cyberneko.org/html/properties/default-encoding	Windows-1252	IANA encoding names	默認的HTML文件編碼
http://cyberneko.org/html/properties/names/elems	upper	upper,lower,match	如果整理識別出的元素名稱
http://cyberneko.org/html/properties/names/attrs	lower	upper,lower,no-change	如果整理識別出的屬性名稱

?

四、管道過濾器

　　Xerces Native Interface (XNI)定義了一個解析器配置框架，在那兒一個個解析器以模塊化組件的形式組成一個管道。這樣一來，通過重新安排已有組件和/或新定制開發的組件，就可完成一個新的解析器配置工作。由于nekohtml?是采用這個配置框架開發的，所以對解析器新增功能就很簡單通過在默認的nekohtml?解析管道的末端增加文檔過濾器來實現。
　　要新開發一個過濾器，很簡單地實現xerces2的org.apache.xerces.xni.parser包中的XMLDocumentFilter接口即可。這個接口，一方面使組件成為管道中上一級的事件處理器，另一方面又成為下級的信息源。針對nekohtml的過濾器開發，只需簡單地擴展org.cyberneko.html.filters包中的DefaultFilter類即可。
　　將自行開發的過濾器加入管道，可參考以下兩種辦法：

XMLDocumentFilter noop = new DefaultFilter(); XMLDocumentFilter[] filters = { noop };

XMLParserConfiguration parser = new HTMLConfiguration(); parser.setProperty("http://cyberneko.org/html/properties/filters", filters);

　　nekohtml?的org.cyberneko.html.filters 包中有DefaultFilter、
ElementRemover、Identity、Writer，能實現動態插入內容、刪除元素、序列化HTML文檔等，不詳細述。

總結

以上是生活随笔為你收集整理的NekoHTML 学习笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。