一、什么是Jsoup？

jsoup是一款Java的HTML解析器、可以通過URL獲取DOM元素并解析，也可對HTML文本內(nèi)容進行解析，jsoup提供了一套非常簡單的方法，類似于CSS、JQuery的操作方法對元素或者是數(shù)據(jù)進行操作。

二、Jsoup的特點及作用

• 從URL，文件或字符串中抓取并解析HTML
• 使用DOM遍歷或CSS選擇器查找和提取數(shù)據(jù)
• 處理HTML元素，屬性和文本
• 根據(jù)安全的白名單清除用戶提交的內(nèi)容，以防止XSS攻擊
• 輸出整潔的HTML

三、示例

1、解析資源的方式

(1) Jsoup.connect(urlPath).get(); //加載URL (2) Jsoup.parse(""); //從字符串中解析 (3) Jsoup.parse(File in,String charsetName,String baseUri); //從本地文件進行解析

該示例使用第一種方式,加載URL

2、添加相關依賴
2.1 pom.xml中添加依賴

<dependency><groupId>org.jsoup</groupId><artifactId>jsoup</artifactId><version>1.13.1</version> </dependency>

2.2 或者下載Jar包：
jsoup-1.13.1.jar

3、示例代碼

紅色框中是我們想要的部分，每一個DIV對應一張圖片

public class Test {/*** Jsoup常用對象：* 1、Document：文檔對象* 2、Element：元素對象* 3、Elements：Element元素對象的集合* @param args*/public static void main(String[] args) {//設置請求的地址String urlPath = "http://sc.chinaz.com/tupian/fengjingtupian.html";//調(diào)用方法test(urlPath);}public static void test(String urlPath){try { //加載URL中的元素Document document = Jsoup.connect(urlPath).get();//獲取我們需要的內(nèi)容(大概的節(jié)點)Elements elements = document.select(".all_wrap #container");//定位到我們想要的標簽(詳細節(jié)點)Elements elements2 = elements.select("img");//使用循環(huán)獲取當個的元素for(Element node:elements2){//獲取img標簽中src屬性值String href = node.attr("src");//從圖像地址中截取一段文件名出來String fileName = href.substring(href.lastIndexOf("/")+1);//使用URL單個訪問URL url = new URL(href);//打開連接URLConnection conn = url.openConnection();//使用文件流讀取網(wǎng)頁上的內(nèi)容InputStream is = conn.getInputStream();//把獲取到的內(nèi)容，保存在本地中OutputStream os = new FileOutputStream(new File("d:\\images",fileName));//設置臨時存儲變量int i = 0 ;while((i = is.read())!=-1){os.write(i);}System.out.println(fileName+" ----------->下載成功！"); } } catch (Exception e) {e.printStackTrace();}}}

總結(jié)

以上是生活随笔為你收集整理的使用Jsoup实现网络爬虫的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。