網絡爬蟲

網絡爬蟲（Web crawler），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本

---

---

爬蟲入門程序

環境準備

JDK1.8

IntelliJ IDEA

IDEA自帶的Maven

環境準備

? ? 1.創建Maven工程itcast-crawler-first并給pom.xml加入依賴???????、

<dependencies><!-- HttpClient --><dependency><groupId>org.apache.httpcomponents</groupId><artifactId>httpclient</artifactId><version>4.5.3</version></dependency><!-- 日志 --><dependency><groupId>org.slf4j</groupId><artifactId>slf4j-log4j12</artifactId><version>1.7.25</version></dependency> </dependencies>

? ?2.加入log4j.properties

log4j.rootLogger=DEBUG,A1 log4j.logger.cn.itcast = DEBUGlog4j.appender.A1=org.apache.log4j.ConsoleAppender log4j.appender.A1.layout=org.apache.log4j.PatternLayout log4j.appender.A1.layout.ConversionPattern=%-d{yyyy-MM-dd HH:mm:ss,SSS} [%t] [%c]-[%p] %m%n

??????????????? 3.編寫代碼

1. 打開瀏覽器,創建HttpClient對象2. 輸入網址,發起get請求創建HttpGet對象3.按回車，發起請求，返回響應，使用HttpClient對象發起請求4. 解析響應，獲取數據判斷狀態碼是否是200 package cn.itcast.crawler.test;import org.apache.http.HttpEntity; import org.apache.http.client.methods.CloseableHttpResponse; import org.apache.http.client.methods.HttpGet; import org.apache.http.impl.client.CloseableHttpClient; import org.apache.http.impl.client.HttpClients; import org.apache.http.util.EntityUtils;public class CrawlerFirst {public static void main(String[] args) throws Exception {//1. 打開瀏覽器,創建HttpClient對象CloseableHttpClient httpClient = HttpClients.createDefault();//2. 輸入網址,發起get請求創建HttpGet對象HttpGet httpGet = new HttpGet("http://www.itcast.cn");//3.按回車，發起請求，返回響應，使用HttpClient對象發起請求CloseableHttpResponse response = httpClient.execute(httpGet);//4. 解析響應，獲取數據//判斷狀態碼是否是200if (response.getStatusLine().getStatusCode() == 200) {HttpEntity httpEntity = response.getEntity();String content = EntityUtils.toString(httpEntity, "utf8");System.out.println(content);}} }

???????

總結

以上是生活随笔為你收集整理的网络爬虫（Web crawler）|| 爬虫入门程序的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。