Java爬蟲抓取網頁

原作者：hebedich??原文鏈接
下面直接貼代碼： import java.io.BufferedReader; import java.io.InputStreamReader; import java.net.URL; import java.net.URLConnection; import java.util.regex.Matcher; import java.util.regex.Pattern;public class Main {static String sendGet(String url){// 定義即將訪問的鏈接// 定義一個字符串用來存儲網頁內容String result = "";// 定義一個緩沖字符輸入流BufferedReader in = null;try {// 將string轉成url對象URL realUrl = new URL(url);// 初始化一個鏈接到那個url的連接URLConnection connection = realUrl.openConnection();// 開始實際的連接connection.connect();// 初始化 BufferedReader輸入流來讀取URL的響應in = new BufferedReader(new InputStreamReader(connection.getInputStream()));// 用來臨時存儲抓取到的每一行的數據String line;while ((line = in.readLine()) != null) {//遍歷抓取到的每一行并將其存儲到result里面result += line;}} catch (Exception e) {System.out.println("發送GET請求出現異常！" + e);e.printStackTrace();}// 使用finally來關閉輸入流finally {try {if (in != null) {in.close();}} catch (Exception e2) {e2.printStackTrace();}}return result;}public static void main(String[] args) {String url = "http://www.baidu.com";// 訪問鏈接并獲取頁面內容String result = sendGet(url);// 使用正則匹配圖片的src內容System.out.println(result);}}

總結

以上是生活随笔為你收集整理的Java爬虫抓取网页的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。