當前位置:
首頁 >
jsoup实现超简单的爬虫
發布時間:2023/12/10
41
豆豆
生活随笔
收集整理的這篇文章主要介紹了
jsoup实现超简单的爬虫
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
Java爬蟲我教你
- 使用工具
- 項目結構
- 測試
爬取數據是個很好玩的事情,最近我也是在研究這個東西,然后呢接下來我給大家講一段小案例,可以滿足各位小伙伴的好奇心,藤井就廢話不多說,直接上代碼
使用工具
maven依賴
(1)lombok
這個依賴是方便我們的爬取數據的對象方便直接進行封裝
(2)jsoup
jsoup 是一款Java 的HTML解析器,可直接解析某個URL地址、HTML文本內容。它提供了一套非常省力的API,可通過DOM,CSS以及類似于jQuery的操作方法來取出和操作數據。
使用工具以及框架
工具:IDEA
框架:SpringBoot
項目結構
pojo包
content.java
這個類是存放數據對象的,你需要網站的數據格式肯定是不同的,我們這次爬取網頁數據如下,直接上代碼:
utils包
工具包主要用于將數據存儲在集合中的業務代碼,我這邊直接在控制臺簡單展示給大家看一下
HtmlUtils.java
測試
我這里寫了一個測試類,直接實例化utils類就好了,上代碼
Demo.java
爬取數據控制臺顯示
就是這么簡單,數據就到控制臺了,下期我來給大家講解一下怎么把爬取到的數據利用起來,應該用怎么樣的方式呢?盡情期待
總結
以上是生活随笔為你收集整理的jsoup实现超简单的爬虫的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: micropython stm32f40
- 下一篇: 自定义线程的方式