java爬蟲(chóng)入門(mén)技術(shù)

我們需要用到http協(xié)議 從而建立java程序和網(wǎng)頁(yè)的連接

URL url = new URL("https://www.ivsky.com/tupian/ziranfengguang/");

URLConnection urlConnection=url.openConnection();

urlConnection.connect();//讀取網(wǎng)頁(yè)的html

BufferedReader br = new BufferedReader(new InputStreamReader(urlConnection.getInputStream()));

上面的代碼就是建立java程序和網(wǎng)頁(yè)的連接

我們爬蟲(chóng)首先是將網(wǎng)頁(yè)的Html代碼爬下來(lái)

接下來(lái)我們需要從這些代碼中找到有用的東西，我們發(fā)現(xiàn)大部分圖片會(huì)有一個(gè)src資源

如果只是找一張圖片我們可以直接用find函數(shù)查找，但是我們需要多張圖片，此時(shí)正則表達(dá)式就顯示了他的威力

我們直接用正則表達(dá)式匹配出來(lái)src資源

代碼如下：

String line = null;

//正則表達(dá)式，解釋如下在最少的""里面匹配到子表達(dá)式 ？相當(dāng)于懶惰(匹配盡可能少)

Pattern pattern = Pattern.compile("src=\"(.+?)\"");

List list = new ArrayList();

while((line = br.readLine()) != null) {

Matcher m = pattern.matcher(line);

while(m.find()) {

//查到之后添加list里面

list.add(m.group());

}

}

匹配出來(lái)這些字符串我們還需要對(duì)他們進(jìn)行一些處理篩選出來(lái)圖片的地址

代碼如下

//篩選src，找到j(luò)pg和png和gif結(jié)尾的(設(shè)置新格式也就是截取字符串)放到圖片集合里面

List imglist = new ArrayList();for(String xString : list) {if(xString.endsWith(".jpg\"") || xString.endsWith(".png\"") || xString.endsWith(".gif\"")) {//截取字符串的一部分也就是圖片的地址

String partString = xString.substring(5,xString.length() - 1);

imglist.add(partString);

}

}

處理好之后我們就剩下最后一步了(下載)

下載就是將圖片讀進(jìn)本地磁盤(pán)

代碼如下

//開(kāi)始下載

Date beginDate = newDate();for(String xString : imglist) {

Date partbeginDate= newDate();

URL partUrl;if(!xString.startsWith("http:")) {

partUrl= new URL("http:"+xString);if(!("http:"+xString).startsWith("http://")) {continue;

}

}else{

partUrl= newURL(xString);

}

System.out.println(partUrl);

String nameString= xString.substring(xString.lastIndexOf("/") + 1,xString.length());

File file= new File("E:\\圖片下載\\"+nameString);

InputStream is=partUrl.openStream();

BufferedInputStream bis= newBufferedInputStream(is);

BufferedOutputStream bos= new BufferedOutputStream(newFileOutputStream(file));

System.out.println("開(kāi)始下載" +xString);int len = 0;while((len = bis.read()) != -1){

bos.write(len);

}

System.out.println("下載完成");

Date partendDate= newDate();double ti = (partendDate.getTime() - partbeginDate.getTime()) / 1000;

System.out.println("用時(shí)" + String.format("%.8f", ti) + "s");

bis.close();

bos.close();

}

Date endDate= newDate();double ti = (endDate.getTime() - beginDate.getTime() ) / 1000;

System.out.println("全部下載完成");

System.out.println("總用時(shí)" + String.format("%.8f", ti) + "s");

代碼綜合如下

packageworm;import java.io.*;importjava.net.MalformedURLException;importjava.net.URL;importjava.net.URLConnection;import java.util.*;importjava.util.regex.Matcher;importjava.util.regex.Pattern;importjavax.swing.text.html.HTMLDocument.HTMLReader.IsindexAction;public classMain {public static void main(String[] args) throwsException {/** 連接網(wǎng)頁(yè)*/URL url= new URL("https://www.ivsky.com/tupian/ziranfengguang/");

URLConnection urlConnection=url.openConnection();

urlConnection.connect();//讀取網(wǎng)頁(yè)的html

BufferedReader br = new BufferedReader(newInputStreamReader(urlConnection.getInputStream()));

String line= null;//正則表達(dá)式，解釋如下在最少的""里面匹配到子表達(dá)式 ？相當(dāng)于懶惰(匹配盡可能少)

Pattern pattern = Pattern.compile("src=\"(.+?)\"");

List list = new ArrayList();while((line = br.readLine()) != null) {

Matcher m=pattern.matcher(line);while(m.find()) {//查到之后添加list里面

list.add(m.group());

}

}

br.close();//篩選src，找到j(luò)pg和png和gif結(jié)尾的(設(shè)置新格式也就是截取字符串)放到圖片集合里面

List imglist = new ArrayList();for(String xString : list) {if(xString.endsWith(".jpg\"") || xString.endsWith(".png\"") || xString.endsWith(".gif\"")) {//截取字符串的一部分也就是圖片的地址

String partString = xString.substring(5,xString.length() - 1);

imglist.add(partString);

}

}//開(kāi)始下載

Date beginDate = newDate();for(String xString : imglist) {

Date partbeginDate= newDate();

URL partUrl;if(!xString.startsWith("http:")) {

partUrl= new URL("http:"+xString);if(!("http:"+xString).startsWith("http://")) {continue;

}

}else{

partUrl= newURL(xString);

}

System.out.println(partUrl);

String nameString= xString.substring(xString.lastIndexOf("/") + 1,xString.length());

File file= new File("E:\\圖片下載\\"+nameString);

InputStream is=partUrl.openStream();

BufferedInputStream bis= newBufferedInputStream(is);

BufferedOutputStream bos= new BufferedOutputStream(newFileOutputStream(file));

System.out.println("開(kāi)始下載" +xString);int len = 0;while((len = bis.read()) != -1){

bos.write(len);

}

System.out.println("下載完成");

Date partendDate= newDate();double ti = (partendDate.getTime() - partbeginDate.getTime()) / 1000;

System.out.println("用時(shí)" + String.format("%.8f", ti) + "s");

bis.close();

bos.close();

}

Date endDate= newDate();double ti = (endDate.getTime() - beginDate.getTime() ) / 1000;

System.out.println("全部下載完成");

System.out.println("總用時(shí)" + String.format("%.8f", ti) + "s");

}

}

運(yùn)行截圖如下：

原文：https://www.cnblogs.com/WINDZLY/p/12548723.html

總結(jié)

以上是生活随笔為你收集整理的java爬虫下载图片到磁盘_java入门爬虫（爬取网页的图片下载到本地磁盘）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。