jsoup解析和遍历一个html文档详解
解析和遍歷一個HTML文檔
如何解析一個HTML文檔：
String html = "<html><head><title>First parse</title></head>" + "<body><p>Parsed HTML into a doc.</p></body></html>"; Document doc = Jsoup.parse(html);其解析器能夠盡最大可能從你提供的HTML文檔來創(chuàng)見一個干凈的解析結(jié)果，無論HTML的格式是否完整。比如它可以處理：
1）沒有關(guān)閉的標簽
2）隱式標簽
它可以自動將 <td>Table data</td>包裝成<table><tr><td>?3）創(chuàng)建可靠的文檔結(jié)構(gòu)
html標簽包含head 和 body，在head只出現(xiàn)恰當?shù)脑?一個文檔的對象模型
1、文檔由多個Elements和TextNodes組成 (以及其它輔助nodes).
2、其繼承結(jié)構(gòu)如下：Document繼承Element繼承Node. TextNode繼承 Node.
3、一個Element包含一個子節(jié)點集合，并擁有一個父Element。他們還提供了一個唯一的子元素過濾列表。
從一個URL加載一個Document
你需要從一個網(wǎng)站獲取和解析一個HTML文檔，并查找其中的相關(guān)數(shù)據(jù)。使用 Jsoup.connect(String url)方法:
Document doc = Jsoup.connect("//www.sougou.net/").get(); String title = doc.title();解說
connect(String url) 方法創(chuàng)建一個新的 Connection, 和 get() 取得和解析一個HTML文件。如果從該URL獲取HTML時發(fā)生錯誤，便會拋出 IOException，應適當處理。
Connection 接口還提供一個方法鏈來解決特殊請求，具體如下：
Document doc = Jsoup.connect("//www.jb51.net").data("query", "Java").userAgent("Mozilla").cookie("auth", "token").timeout(3000).post();這個方法只支持Web URLs (http和https 協(xié)議); 假如你需要從一個文件加載，可以使用parse(File in, String charsetName) 代替。
從一個文件加載一個文檔
對一個本地的HTML文件進行解析并從中抽取數(shù)據(jù)或進行修改。使用靜態(tài) Jsoup.parse(File in, String charsetName, String baseUri) 方法：
解說
parse(File in, String charsetName, String baseUri) 這個方法用來加載和解析一個HTML文件。如在加載文件的時候發(fā)生錯誤，將拋出IOException，應作適當處理。
baseUri 參數(shù)用于解決文件中URLs是相對路徑的問題。如果不需要可以傳入一個空的字符串。
另外還有一個方法parse(File in, String charsetName) ，它使用文件的路徑做為 baseUri。 這個方法適用于如果被解析文件位于網(wǎng)站的本地文件系統(tǒng)，且相關(guān)鏈接也指向該文件系統(tǒng)。
使用DOM方法來遍歷一個文檔
要從一個HTML文檔中提取數(shù)據(jù)，并了解這個HTML文檔的結(jié)構(gòu)。將HTML解析成一個Document之后，就可以使用類似于DOM的方法進行操作。
解說
Elements這個對象提供了一系列類似于DOM的方法來查找元素，抽取并處理其中的數(shù)據(jù)。具體如下：
查找元素
getElementById(String id)
getElementsByTag(String tag)
getElementsByClass(String className)
getElementsByAttribute(String key) (and related methods)
Element siblings: siblingElements(), firstElementSibling(), lastElementSibling();nextElementSibling(), previousElementSibling()
Graph: parent(), children(), child(int index)
元素數(shù)據(jù)
attr(String key)獲取屬性attr(String key, String value)設置屬性
attributes()獲取所有屬性
id(), className() and classNames()
text()獲取文本內(nèi)容text(String value) 設置文本內(nèi)容
html()獲取元素內(nèi)HTMLhtml(String value)設置元素內(nèi)的HTML內(nèi)容
outerHtml()獲取元素外HTML內(nèi)容
data()獲取數(shù)據(jù)內(nèi)容（例如：script和style標簽)
tag() and tagName()
操作HTML和文本
append(String html), prepend(String html)
appendText(String text), prependText(String text)
appendElement(String tagName), prependElement(String tagName)
html(String value)
使用選擇器語法來查找元素
如果想要使用類似于CSS或jQuery的語法來查找和操作元素?？梢允褂肊lement.select(String selector) 和 Elements.select(String selector) 方法實現(xiàn)：
解說
jsoup elements對象支持類似于CSS (或jquery)的選擇器語法，來實現(xiàn)非常強大和靈活的查找功能。.
這個select 方法在Document, Element,或Elements對象中都可以使用。且是上下文相關(guān)的，因此可實現(xiàn)指定元素的過濾，或者鏈式選擇訪問。
Select方法將返回一個Elements集合，并提供一組方法來抽取和處理結(jié)果。
Selector選擇器概述
tagname: 通過標簽查找元素，比如：a
ns|tag: 通過標簽在命名空間查找元素，比如：可以用 fb|name 語法來查找 fb:name 元素
#id: 通過ID查找元素，比如：#logo
.class: 通過class名稱查找元素，比如：.masthead
[attribute]: 利用屬性查找元素，比如：[href]
Selector選擇器組合使用
el#id: 元素+ID，比如： div#logo
el.class: 元素+class，比如： div.masthead
el[attr]: 元素+class，比如： a[href]
任意組合，比如：a[href].highlight
ancestor child: 查找某個元素下子元素，比如：可以用.body p 查找在"body"元素下的所有p元素
parent > child: 查找某個父元素下的直接子元素，比如：可以用div.content > p 查找 p 元素，也可以用body > * 查找body標簽下所有直接子元素
siblingA + siblingB: 查找在A元素之前第一個同級元素B，比如：div.head + div
siblingA ~ siblingX: 查找A元素之前的同級X元素，比如：h1 ~ p
el, el, el:多個選擇器組合，查找匹配任一選擇器的唯一元素，例如：div.masthead, div.logo
偽選擇器selectors
:lt(n): 查找哪些元素的同級索引值（它的位置在DOM樹中是相對于它的父節(jié)點）小于n，比如：td:lt(3) 表示小于三列的元素
:gt(n):查找哪些元素的同級索引值大于n，比如： div p:gt(2)表示哪些div中有包含2個以上的p元素
:eq(n): 查找哪些元素的同級索引值與n相等，比如：form input:eq(1)表示包含一個input標簽的Form元素
:has(seletor): 查找匹配選擇器包含元素的元素，比如：div:has§表示哪些div包含了p元素
:not(selector): 查找與選擇器不匹配的元素，比如： div:not(.logo) 表示不包含 class=logo 元素的所有 div 列表
:contains(text): 查找包含給定文本的元素，搜索不區(qū)分大不寫，比如： p:contains(jsoup)
:containsOwn(text): 查找直接包含給定文本的元素
:matches(regex): 查找哪些元素的文本匹配指定的正則表達式，比如：div:matches((?i)login)
:matchesOwn(regex): 查找自身包含文本匹配指定正則表達式的元素
注意：上述偽選擇器索引是從0開始的，也就是說第一個元素索引值為0，第二個元素index為1等
可以查看Selector API參考來了解更詳細的內(nèi)容
從元素抽取屬性，文本和HTML
在解析獲得一個Document實例對象，并查找到一些元素之后，你希望取得在這些元素中的數(shù)據(jù)。
要取得一個屬性的值，可以使用Node.attr(String key) 方法
對于一個元素中的文本，可以使用Element.text()方法
對于要取得元素或?qū)傩灾械腍TML內(nèi)容，可以使用Element.html(), 或 Node.outerHtml()方法
解說
上述方法是元素數(shù)據(jù)訪問的核心辦法。此外還其它一些方法可以使用：
Element.id()
Element.tagName()
Element.className() and Element.hasClass(String className)
這些訪問器方法都有相應的setter方法來更改數(shù)據(jù).
示例: 獲取所有鏈接
這個示例程序?qū)⒄故救绾螐囊粋€URL獲得一個頁面。然后提取頁面中的所有鏈接、圖片和其它輔助內(nèi)容。并檢查URLs和文本信息。
運行下面程序需要指定一個URLs作為參數(shù)
總結(jié)
以上是生活随笔為你收集整理的jsoup解析和遍历一个html文档详解的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： java - 菲波拉契数列 兔子个数
- 下一篇： 按规律插入一个数字到数组中