作者|小魚兒. yanxiao|CSDN

Java代碼基于Eclipse簡單實現網頁源碼爬取

今天給大家分享我的最新java學習進程--java網頁源碼爬蟲，廢話不多說盤代碼。

僅需一頁代碼:

package 網站爬蟲2;/** * 爬取目標網頁源代碼示例 * @作者 YanXiaolxy * @版本 2020.03 * @時間 2020年12月14日 下午1:14:14 */import java.io.BufferedWriter;import java.io.ByteArrayOutputStream;import java.io.File;import java.io.FileWriter;import java.io.InputStream;import java.net.HttpURLConnection;import java.net.URL;public class webHtmlCrawer {public static void main(String[] args) {newFile();}public static String getConnection() {String path = "https://www.taobao.com/";try {HttpURLConnection conn = (HttpURLConnection) new URL(path).openConnection();conn.setRequestMethod("GET"); conn.setConnectTimeout(5000); if (conn.getResponseCode() == 200) { InputStream xml = conn.getInputStream(); byte[] data = read(xml); //System.out.println(xml); return new String(data); }else { System.out.println("連接失敗！"); }} catch (Exception e) {e.printStackTrace();}return null;}//讀取數據流,轉換為字符串 public static byte[] read(InputStream xml) throws Exception { ByteArrayOutputStream outputStream = new ByteArrayOutputStream(); byte[] buffer = new byte[1024]; int len = 0; while ((len = xml.read(buffer)) != -1) { outputStream.write(buffer, 0, len); } xml.close(); return outputStream.toByteArray(); } public static void newFile() { String html = getConnection(); String dir = "D:/javafile/";//定義創建目錄位置 File contents = new File(dir); contents.mkdirs();//創建文件目錄 try { byte bytes[] = {1, 2, 3, 4}; File file = new File("D:/javafile/test.txt"); //判斷文件是否存在，如果不存在就創建 if (!file.exists()) { file.createNewFile(); } FileWriter fw = new FileWriter(file.getAbsoluteFile()); BufferedWriter bw = new BufferedWriter(fw); System.out.println("正在寫入....."); bw.write(html); bw.close(); System.out.println("錄入完畢"); } catch (Exception e) { e.getStackTrace(); } } }

使用注意:

1.圖中紅色標記為設置目標網站路徑.
圖片: 1

2.設置網頁源代碼存放目錄和文件創建

歡迎各位發表評論和問題。

總結

以上是生活随笔為你收集整理的eclipse if代码折叠_仅需一页Java代码就能实现网页源码爬取的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。