創(chuàng)建可靠的文檔結(jié)構(gòu)(html標(biāo)簽包含head 和 body，在head只出現(xiàn)恰當(dāng)?shù)脑?

一個文檔的對象模型

文檔由多個Elements和TextNodes組成 (以及其它輔助nodes：詳細(xì)可查看：nodes package tree).

一個Element包含一個子節(jié)點集合，并擁有一個父Element。他們還提供了一個唯一的子元素過濾列表。

參見

========================================================================================================

輸入

2.解析一個html字符串

存在問題

來自用戶輸入，一個文件或一個網(wǎng)站的HTML字符串，你可能需要對它進(jìn)行解析并取其內(nèi)容，或校驗其格式是否完整，或想修改它。怎么辦？jsonu能夠幫你輕松解決這些問題

解決方法

String?html?=?"

+?"

Parsed?HTML?into?a?doc.

Document?doc?=?Jsoup.parse(html);

描述

只要解析的不是空字符串，就能返回一個結(jié)構(gòu)合理的文檔，其中包含(至少)?一個head和一個body元素。

一旦擁有了一個Document，你就可以使用Document中適當(dāng)?shù)姆椒ɑ蛩割?/p>

========================================================================================================

3.解析一個body片斷

存在問題

你需要從一個網(wǎng)站獲取和解析一個HTML文檔，并查找其中的相關(guān)數(shù)據(jù)。你可以使用下面解決方法：

解決方法

Document?doc?=?Jsoup.connect("http://example.com/").get();

String?title?=?doc.title();

說明

Document?doc?=?Jsoup.connect("http://example.com")

.data("query",?"Java")

.userAgent("Mozilla")

.cookie("auth",?"token")

.timeout(3000)

.post();

這個方法只支持Web URLs (http和https?協(xié)議); 假如你需要從一個文件加載，可以使用

問題

假如你有一個HTML片斷 (比如. 一個?div?包含一對?p?標(biāo)簽; 一個不完整的HTML文檔) 想對它進(jìn)行解析。這個HTML片斷可以是用戶提交的一條評論或在一個CMS頁面中編輯body部分。

辦法

String?html?=?"

Lorem?ipsum.

Document?doc?=?Jsoup.parseBodyFragment(html);

Element?body?=?doc.body();

說明

parseBodyFragment?方法創(chuàng)建一個空殼的文檔，并插入解析過的HTML到body元素中。假如你使用正常的

doc.getElementsByTag("body")相同。

保證安全Stay safe

假如你可以讓用戶輸入HTML內(nèi)容，那么要小心避免跨站腳本攻擊。利用基于

========================================================================================================

4.從一個URL加載一個Document對象

存在問題

你需要從一個網(wǎng)站獲取和解析一個HTML文檔，并查找其中的相關(guān)數(shù)據(jù)。你可以使用下面解決方法：

解決方法

Document?doc?=?Jsoup.connect("http://example.com/").get();

String?title?=?doc.title();

說明

Document?doc?=?Jsoup.connect("http://example.com")

.data("query",?"Java")

.userAgent("Mozilla")

.cookie("auth",?"token")

.timeout(3000)

.post();

這個方法只支持Web URLs (http和https?協(xié)議); 假如你需要從一個文件加載，可以使用

========================================================================================================

5.根據(jù)一個文件加載Document對象

問題

在本機(jī)硬盤上有一個HTML文件，需要對它進(jìn)行解析從中抽取數(shù)據(jù)或進(jìn)行修改。

辦法

File?input?=?new?File("/tmp/input.html");

Document?doc?=?Jsoup.parse(input,?"UTF-8",?"http://example.com/");

說明

baseUri?參數(shù)用于解決文件中URLs是相對路徑的問題。如果不需要可以傳入一個空的字符串。

另外還有一個方法baseUri。 這個方法適用于如果被解析文件位于網(wǎng)站的本地文件系統(tǒng)，且相關(guān)鏈接也指向該文件系統(tǒng)。

========================================================================================================

數(shù)據(jù)抽取

6.使用dom方法來遍歷一個Document對象

========================================================================================================

7.使用選擇器語法來查找元素

問題

你想使用類似于CSS或jQuery的語法來查找和操作元素。

方法

File?input?=?new?File("/tmp/input.html");

Document?doc?=?Jsoup.parse(input,?"UTF-8",?"http://example.com/");

Elements?links?=?doc.select("a[href]");?//帶有href屬性的a元素

Elements?pngs?=?doc.select("img[src$=.png]");

//擴(kuò)展名為.png的圖片

Element?masthead?=?doc.select("div.masthead").first();

//class等于masthead的div標(biāo)簽

Elements?resultLinks?=?doc.select("h3.r?>?a");?//在h3元素之后的a元素

說明

jsoup elements對象支持類似于CSS?(或jquery)的選擇器語法，來實現(xiàn)非常強(qiáng)大和靈活的查找功能。.

這個select?方法在

Select方法將返回一個

Selector選擇器概述

tagname: 通過標(biāo)簽查找元素，比如：a

ns|tag: 通過標(biāo)簽在命名空間查找元素，比如：可以用?fb|name?語法來查找??元素

#id: 通過ID查找元素，比如：#logo

.class: 通過class名稱查找元素，比如：.masthead

[attribute]: 利用屬性查找元素，比如：[href]

[^attr]: 利用屬性名前綴來查找元素，比如：可以用[^data-]?來查找?guī)в蠬TML5 Dataset屬性的元素

[attr=value]: 利用屬性值來查找元素，比如：[width=500]

[attr^=value],?[attr$=value],?[attr*=value]: 利用匹配屬性值開頭、結(jié)尾或包含屬性值來查找元素，比如：[href*=/path/]

[attr~=regex]: 利用屬性值匹配正則表達(dá)式來查找元素，比如：?img[src~=(?i)\.(png|jpe?g)]

*: 這個符號將匹配所有元素

Selector選擇器組合使用

el#id: 元素+ID，比如：?div#logo

el.class: 元素+class，比如：?div.masthead

el[attr]: 元素+class，比如：?a[href]

任意組合，比如：a[href].highlight

ancestor child: 查找某個元素下子元素，比如：可以用.body p?查找在"body"元素下的所有p元素

parent > child: 查找某個父元素下的直接子元素，比如：可以用div.content > p?查找p?元素，也可以用body > *?查找body標(biāo)簽下所有直接子元素

siblingA + siblingB: 查找在A元素之前第一個同級元素B，比如：div.head + div

siblingA ~ siblingX: 查找A元素之前的同級X元素，比如：h1 ~ p

el, el, el:多個選擇器組合，查找匹配任一選擇器的唯一元素，例如：div.masthead, div.logo

偽選擇器selectors

:lt(n): 查找哪些元素的同級索引值(它的位置在DOM樹中是相對于它的父節(jié)點)小于n，比如：td:lt(3)?表示小于三列的元素

:gt(n):查找哪些元素的同級索引值大于n，比如：?div p:gt(2)表示哪些div中有包含2個以上的p元素

:eq(n): 查找哪些元素的同級索引值與n相等，比如：form input:eq(1)表示包含一個input標(biāo)簽的Form元素

:has(seletor): 查找匹配選擇器包含元素的元素，比如：div:has(p)表示哪些div包含了p元素

:not(selector): 查找與選擇器不匹配的元素，比如：?div:not(.logo)?表示不包含 class="logo" 元素的所有 div 列表

:contains(text): 查找包含給定文本的元素，搜索不區(qū)分大不寫，比如：?p:contains(jsoup)

:containsOwn(text): 查找直接包含給定文本的元素

:matches(regex): 查找哪些元素的文本匹配指定的正則表達(dá)式，比如：div:matches((?i)login)

:matchesOwn(regex): 查找自身包含文本匹配指定正則表達(dá)式的元素

注意：上述偽選擇器索引是從0開始的，也就是說第一個元素索引值為0，第二個元素index為1等

可以查看

========================================================================================================

8.從元素集合抽取屬性、文本和html內(nèi)容

問題

在解析獲得一個Document實例對象，并查找到一些元素之后，你希望取得在這些元素中的數(shù)據(jù)。

方法

示例：

String?html?=?"

An?example?link.

Document?doc?=?Jsoup.parse(html);//解析HTML字符串返回一個Document實現(xiàn)

Element?link?=?doc.select("a").first();//查找第一個a元素

String?text?=?doc.body().text();?//?"An?example?link"//取得字符串中的文本

String?linkHref?=?link.attr("href");?//?"http://example.com/"//取得鏈接地址

String?linkText?=?link.text();?//?"example""//取得鏈接地址中的文本

String?linkOuterH?=?link.outerHtml();

//?"example"

String?linkInnerH?=?link.html();?//?"example"//取得鏈接內(nèi)的html內(nèi)容

說明

上述方法是元素數(shù)據(jù)訪問的核心辦法。此外還其它一些方法可以使用：

這些訪問器方法都有相應(yīng)的setter方法來更改數(shù)據(jù).

參見

========================================================================================================

9.URL處理

問題

你有一個包含相對URLs路徑的HTML文檔，需要將這些相對路徑轉(zhuǎn)換成絕對路徑的URLs。

方法

在你解析文檔時確保有指定base URI，然后

使用?abs:?屬性前綴來取得包含base URI的絕對路徑。代碼如下：

Document?doc?=?Jsoup.connect("http://www.open-open.com").get();

Element?link?=?doc.select("a").first();

String?relHref?=?link.attr("href");?//?==?"/"

String?absHref?=?link.attr("abs:href");?//?"http://www.open-open.com/"

說明

在HTML元素中，URLs經(jīng)常寫成相對于文檔位置的相對路徑：?.... 當(dāng)你使用

假如你需要取得一個絕對路徑，需要在屬性名前加?abs:?前綴。這樣就可以返回包含根路徑的URL地址attr("abs:href")

因此，在解析HTML文檔時，定義base URI非常重要。

如果你不想使用abs:?前綴，還有一個方法能夠?qū)崿F(xiàn)同樣的功能

========================================================================================================

10.程序示例：獲取所有鏈接

這個示例程序?qū)⒄故救绾螐囊粋€URL獲得一個頁面。然后提取頁面中的所有鏈接、圖片和其它輔助內(nèi)容。并檢查URLs和文本信息。

運(yùn)行下面程序需要指定一個URLs作為參數(shù)

package?org.jsoup.examples;

import?org.jsoup.Jsoup;

import?org.jsoup.helper.Validate;

import?org.jsoup.nodes.Document;

import?org.jsoup.nodes.Element;

import?org.jsoup.select.Elements;

import?java.io.IOException;

/**

*?Example?program?to?list?links?from?a?URL.

*/

public?class?ListLinks?{

public?static?void?main(String[]?args)?throws?IOException?{

Validate.isTrue(args.length?==?1,?"usage:?supply?url?to?fetch");

String?url?=?args[0];

print("Fetching?%s...",?url);

Document?doc?=?Jsoup.connect(url).get();

Elements?links?=?doc.select("a[href]");

Elements?media?=?doc.select("[src]");

Elements?imports?=?doc.select("link[href]");

print("\nMedia:?(%d)",?media.size());

for?(Element?src?:?media)?{

if?(src.tagName().equals("img"))

print("?*?%s:??%sx%s?(%s)",

src.tagName(),?src.attr("abs:src"),?src.attr("width"),?src.attr("height"),

trim(src.attr("alt"),?20));

else

print("?*?%s:?",?src.tagName(),?src.attr("abs:src"));

}

print("\nImports:?(%d)",?imports.size());

for?(Element?link?:?imports)?{

print("?*?%s??(%s)",?link.tagName(),link.attr("abs:href"),?link.attr("rel"));

}

print("\nLinks:?(%d)",?links.size());

for?(Element?link?:?links)?{

print("?*?a:???(%s)",?link.attr("abs:href"),?trim(link.text(),?35));

}

}

private?static?void?print(String?msg,?Object...?args)?{

System.out.println(String.format(msg,?args));

}

private?static?String?trim(String?s,?int?width)?{

if?(s.length()?>?width)

return?s.substring(0,?width-1)?+?".";

else

return?s;

}

}

示例輸入結(jié)果

Fetching?http://news.ycombinator.com/...

Media:?(38)

*?img:??18x18?()

*?img:??10x1?()

*?img:??x?()

*?img:??0x10?()

*?script:?

*?img:??15x1?()

*?img:??x?()

*?img:??25x1?()

*?img:??x?(Analytics?by?Mixpan.)

Imports:?(2)

*?link??(stylesheet)

*?link??(shortcut?icon)

Links:?(141)

*?a:???()

*?a:???(Hacker?News)

*?a:???(new)

*?a:???(comments)

*?a:???(leaders)

*?a:???(jobs)

*?a:???(submit)

*?a:???(login)

*?a:???()

*?a:???(Facebook?speeds?up?PHP)

*?a:???(mcxx)

*?a:???(9?comments)

*?a:???()

*?a:???("Tough.?Django?produces?XHTML.")

*?a:???(andybak)

*?a:???(3?comments)

*?a:???()

*?a:???(More)

*?a:???(Lists)

*?a:???(RSS)

*?a:???(Bookmarklet)

*?a:???(Guidelines)

*?a:???(FAQ)

*?a:???(News?News)

*?a:???(Feature?Requests)

*?a:???(Y?Combinator)

*?a:???(Apply)

*?a:???(Library)

*?a:???()

*?a:???()

數(shù)據(jù)修改

11.設(shè)置屬性值

問題

在你解析一個Document之后可能想修改其中的某些屬性值，然后再保存到磁盤或都輸出到前臺頁面。

方法

rel="nofollow"?可以使用如下方法：

doc.select("div.comments?a").attr("rel",?"nofollow");

說明

與attr?方法也是返回當(dāng)

doc.select("div.masthead").attr("title",?"jsoup").addClass("round-box");

========================================================================================================

12.設(shè)置元素的html內(nèi)容

問題

你需要一個元素中的HTML內(nèi)容

方法

可以使用

Element?div?=?doc.select("div").first();?//?

div.html("

lorem?ipsum

lorem?ipsum

div.prepend("

First

div.append("

Last

//?添完后的結(jié)果:?

First

lorem?ipsum

Last

Element?span?=?doc.select("span").first();?//?One

span.wrap("

//?添完后的結(jié)果:?

說明

參見

========================================================================================================

13.設(shè)置元素的文本內(nèi)容

問題

你需要修改一個HTML文檔中的文本內(nèi)容

方法

可以使用

Element?div?=?doc.select("div").first();?//?

div.text("five?>?four");?//?

div.prepend("First?");

div.append("?Last");

//?now:?

說明

文本設(shè)置方法與?HTML setter?方法一樣：

對于傳入的文本如果含有像??等這樣的字符，將以文本處理，而非HTML。

========================================================================================================

HTML清理

14.消除不受信任的html (來防止xss攻擊)

問題

在做網(wǎng)站的時候，經(jīng)常會提供用戶評論的功能。有些不懷好意的用戶，會搞一些腳本到評論內(nèi)容中，而這些腳本可能會破壞整個頁面的行為，更嚴(yán)重的是獲取一些機(jī)要信息，此時需要清理該HTML，以避免跨站腳本cross-site scripting攻擊(XSS)。

方法

使用jsoup HTML

String?unsafe?=

"

Link

String?safe?=?Jsoup.clean(unsafe,?Whitelist.basic());

//?now:?

Link

說明

XSS又叫CSS (Cross Site Script) ，跨站腳本攻擊。它指的是惡意攻擊者往Web頁面里插入惡意html代碼，當(dāng)用戶瀏覽該頁之時，嵌入其中Web里面的html代碼會被執(zhí)行，從而達(dá)到惡意攻擊用戶的特殊目的。XSS屬于被動式的攻擊，因為其被動且不好利用，所以許多人常忽略其危害性。所以我們經(jīng)常只讓用戶輸入純文本的內(nèi)容，但這樣用戶體驗就比較差了。

一個更好的解決方法就是使用一個富文本編輯器WYSIWYG如CKEditor?和TinyMCE。這些可以輸出HTML并能夠讓用戶可視化編輯。雖然他們可以在客戶端進(jìn)行校驗，但是這樣還不夠安全，需要在服務(wù)器端進(jìn)行校驗并清除有害的HTML代碼，這樣才能確保輸入到你網(wǎng)站的HTML是安全的。否則，攻擊者能夠繞過客戶端的Javascript驗證，并注入不安全的HMTL直接進(jìn)入您的網(wǎng)站。

jsoup的whitelist清理器能夠在服務(wù)器端對用戶輸入的HTML進(jìn)行過濾，只輸出一些安全的標(biāo)簽和屬性。

jsoup提供了一系列的

這個cleaner非常好用不僅可以避免XSS攻擊，還可以限制用戶可以輸入的標(biāo)簽范圍。

參見

參閱XSS cheat sheet?，有一個例子可以了解為什么不能使用正則表達(dá)式，而采用安全的whitelist parser-based清理器才是正確的選擇。

參閱

參閱

========================================================================================================

jsoup 的基本功能到這里就介紹完畢，但由于jsoup 良好的可擴(kuò)展性API 設(shè)計，你可以通過選擇器的定義來開發(fā)出非常強(qiáng)大的HTML 解析功能。再加上jsoup 項目本身的開發(fā)也非常活躍，因此如果你正在使用Java ，需要對HTML 進(jìn)行處理，不妨試試。