當前位置：首頁 >

抓取网页数据并解析

發布時間：2023/12/20 44 豆豆

生活随笔收集整理的這篇文章主要介紹了抓取网页数据并解析小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

這天遇到這樣一個需求：這種頁面數據可以抓取嗎？

隨后提供了賬號、密碼和網站地址：

帳號：kytj1 ? ?

密碼：****************** ? ?

登陸地址：http://student.tiaoji.kaoyan.com/tjadm

主要思路：

1、使用Fiddler4分析http請求交互方式，包括數據發送方式（POST或GET），攜帶參數等，獲得返回的數據信息

2、用Android程序模擬HTTP請求

3、用Java解析HTML代碼，提取出對應的姓名、報考學校、報考專業、分數、聯系電話、發布時間等字段

4、把txt文件導入到Excel里，待進一步處理。

用Fiddle查看數據包

1、打開Fiddler

2、打開網站，填入用戶名和密碼，點擊登錄

登陸地址：http://student.tiaoji.kaoyan.com/tjadm

3、觀察Filldder抓到的包

可以看到HOST、URL、POST方式以及明文密碼

4、觀察網頁數據

登錄成功后，網頁數據顯示為

? ?對應的Filldder抓包數據為

可以看到請求的HOST以及URL，方式為GET，返回的數據也可以在body體中獲取到。

5、HTML代碼

返回的HTML頁面代碼為（選取了部分）

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml"> <head> <meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> <meta name="viewport" content="width=device-width, initial-scale=1.0, maximum-scale=3.0,user-scalable=no "> <title>考研調劑中心_考研調劑意向發布系統_考研調劑_考研網（kaoyan.com）</title> <meta name="description" content="" /> <link rel="stylesheet" type="text/css" href="http://img.kaoyan.com/tiaoji/css/tiaoji-h5.css" /> <link href="http://img.kaoyan.com/global/style/header.css" rel="stylesheet"> <link href="http://img.kaoyan.com/yz/style/yz.index.css" rel="stylesheet"> <script type='text/javascript' src='http://cbjs.baidu.com/js/m.js'></script> </head> <body> <div class="kyHd"><div class="kyTop"><script src="http://img.kaoyan.com/www/header-tiaoji.js" type="text/javascript"></script><script src="http://img.kaoyan.com/www/headera.js" type="text/javascript"></script></div> </div> <div style="height:10px;"></div> <div class="w1000ad tc"><script type="text/javascript">/*考研網-大通欄-通用*/var cpro_id = "u1773335";</script><script src="http://cpro.baidustatic.com/cpro/ui/c.js" type="text/javascript"></script> </div> <ul class="nav" id="tjNav"><li><a href="http://tiaoji.kaoyan.com/" title="考研調劑首頁">調劑首頁</a></li><li><a href="http://www.kaoyan.com/kaoyan/27/474572/" title="考研調劑流程" target="_blank">調劑流程</a></li><li><a href="http://www.kaoyan.com/tiaoji/xinxi/" title="考研調劑信息">調劑信息</a></li><li><a href="http://tiaoji.kaoyan.com/xinwen/" title="考研調劑新聞">調劑新聞</a></li><li><a href="http://tiaoji.kaoyan.com/jingyan/" title="考研調劑經驗">調劑經驗</a></li><li><a href="http://tiaoji.bbs.kaoyan.com/" title="考研調劑論壇" target="_blank">調劑論壇</a></li> </ul> <div class="courseArea"><ul class="tjPicAd mt10 clear"><li><script type="text/javascript">BAIDU_CLB_fillSlot("850729");</script></li><li><script type="text/javascript">BAIDU_CLB_fillSlot("850747");</script></li><li><script type="text/javascript">BAIDU_CLB_fillSlot("850763");</script></li><li><script type="text/javascript">BAIDU_CLB_fillSlot("850766");</script></li><li><script type="text/javascript">BAIDU_CLB_fillSlot("869710");</script></li><li><script type="text/javascript">BAIDU_CLB_fillSlot("869712");</script></li><li><script type="text/javascript">BAIDU_CLB_fillSlot("869713");</script></li><li><script type="text/javascript">BAIDU_CLB_fillSlot("869714");</script></li><li><script type="text/javascript">BAIDU_CLB_fillSlot("869898");</script></li><li><script type="text/javascript">BAIDU_CLB_fillSlot("869899");</script></li><li><script type="text/javascript">BAIDU_CLB_fillSlot("869901");</script></li><li><script type="text/javascript">BAIDU_CLB_fillSlot("869902");</script></li></ul><ul class="tjPicAd clear"><li><script type="text/javascript">BAIDU_CLB_fillSlot("859514");</script></li><li><script type="text/javascript">BAIDU_CLB_fillSlot("859516");</script></li><li><script type="text/javascript">BAIDU_CLB_fillSlot("859517");</script></li><li><script type="text/javascript">BAIDU_CLB_fillSlot("859518");</script></li><li><script type="text/javascript">BAIDU_CLB_fillSlot("869981");</script></li><li><script type="text/javascript">BAIDU_CLB_fillSlot("869982");</script></li><li><script type="text/javascript">BAIDU_CLB_fillSlot("869983");</script></li><li><script type="text/javascript">BAIDU_CLB_fillSlot("869984");</script></li><li><script type="text/javascript">BAIDU_CLB_fillSlot("1033455");</script></li><li><script type="text/javascript">BAIDU_CLB_fillSlot("1033457");</script></li><li><script type="text/javascript">BAIDU_CLB_fillSlot("1033458");</script></li><li><script type="text/javascript">BAIDU_CLB_fillSlot("1033459");</script></li></ul> </div><div class="box pc-index"><div class="tiaoji-content-nav"><ul><li><a href="http://www.kaoyan.com">考研網>></a></li><li><a href="http://tiaoji.kaoyan.com">考研調劑中心>></a></li><li><a href="http://student.tiaoji.kaoyan.com">考生調劑意向</a></li></ul></div><form action="" method="GET"><select name="course"><option value="">專業門類</option><option value="哲學">哲學</option><option value="經濟學">經濟學</option><option value="法學">法學</option><option value="教育學">教育學</option><option value="文學">文學</option><option value="歷史學">歷史學</option><option value="理學">理學</option><option value="工學">工學</option><option value="農學">農學</option><option value="醫學">醫學</option><option value="軍事學">軍事學</option><option value="管理學">管理學</option><option value="藝術學">藝術學</option></select>報考專業: <input name="major" value=""></input><input type="submit" value="搜索" /></form><div class="tiaoji-content"><div class="tiaoji-cont-top"><h5>考生調劑信息</h5><span><a href="/tjadm/logout">退出</a></span></div><table class="tiaoji-tab" cellpadding="0" cellspacing="0"><tr><th width="3%">姓名</th><th width="5%">報考學校</th><th width="5%">報考專業</th><th width="5%">專業門類</th><th width="2%">總分</th><th width="2%">政治</th><th width="2%">外語</th><th width="2%">專一</th><th width="2%">專二</th><th width="5%">電話</th><th width="5%">郵箱</th><th width="10%">調劑意向</th><th width="5%">發布時間</th></tr><tr><td>李***</td><td style=" height:25px; line-height:25px; padding:0 5px; text-align:left;">天津大學</td><td style=" height:25px; line-height:25px; padding:0 5px; text-align:left;">應用化學</td><td style=" height:25px; line-height:25px; padding:0 5px; text-align:left;">工學</td><td>244</td><td>58</td><td>53</td><td>133</td><td>0</td><td>15********15</td><td></td><td style=" height:25px; line-height:25px; padding:0 5px; text-align:left;">希望能調劑到211或者985院校，只要是與化學相關的都服從調劑</td><td>2016-03-01</td></tr> <tr><td>何***</td><td style=" height:25px; line-height:25px; padding:0 5px; text-align:left;">安徽大學</td><td style=" height:25px; line-height:25px; padding:0 5px; text-align:left;">中國現當代文學</td><td style=" height:25px; line-height:25px; padding:0 5px; text-align:left;"></td><td>137</td><td>71</td><td>66</td><td>0</td><td>0</td><td>18********74</td><td></td><td style=" height:25px; line-height:25px; padding:0 5px; text-align:left;">服從調劑</td><td>2016-03-01</td></tr></table><table width="100%" align="center" border="0" cellpadding="2" cellspacing="1" class="tiaoji-fy"><tr><td colspan="2"> <span>[每頁顯示：20條/總共：161659條]</span> <a>上一頁</a> <b>1</b> <a href="/tjadm/2.html" >2</a> <a href="/tjadm/3.html" >3</a> <a href="/tjadm/4.html" >4</a> <a href="/tjadm/5.html" >5</a> <a href="/tjadm/6.html" >6</a> <a href="/tjadm/7.html" >7</a> <a href="/tjadm/8.html" >8</a> <a href="/tjadm/9.html" >9</a> <a href="/tjadm/10.html" >10</a> <span>...</span> <a href="/tjadm/8082.html" >8082</a> <a href="/tjadm/8083.html" >8083</a> <a href="/tjadm/2.html">下一頁</a></td></tr></table></div> </div><p class="clearFooter"></p> <div class="footer"> <script src="http://img.kaoyan.com/www/footera.js" type="text/javascript"></script>- <a href="http://www.kaoyan.com/sitemap/">網站地圖</a>- <a href="http://www.kaoyan.com/yzsitemap/">院校地圖</a>- <a href="http://www.kaoyan.com/update/">最新更新</a> <script src="http://img.kaoyan.com/www/footerb.js" type="text/javascript"></script> </div> <script src='http://img.kaoyan.com/global/js/gcc.js' type='text/javascript'></script> <script src="http://img.kaoyan.com/global/js/backtopnew.js?ver=2014092901" type="text/javascript"></script> <script type="text/javascript">/*考研網-全站對聯*/var cpro_id = "u1773154";</script> </body> </html>
要做的就是從以下格式的HTML代碼中解析出需要的數據

Android程序模擬HTTP請求

經過上述分析，清楚了HTTP的請求地址、請求方式和攜帶參數格式，所以接下來要開發Android程序編程實現這個過程。（不一定非要Android實現，在PC上直接實現應該也是可以的。但本人比較熟悉Android上的一個HTTP開發庫，所以計劃Android平臺實現）。 1、打開Eclipse，新建一個工程TestGet，把實現HTTP庫的代碼拷入工程中，使用的庫android-async-http 官網源碼：https://github.com/loopj/android-async-http 官網教程：http://loopj.com/android-async-http/
這個網絡請求庫是基于Apache HttpClient庫之上的一個異步網絡請求處理庫，網絡處理均基于Android的非UI線程，通過回調方法處理請求結果。

工程目錄如下，其中com.loopj.android.http包就是android-async-http的源碼

2、新建XcAsyncHttpClientUtil.java，添加請求URL地址，封裝AsyncHttpClient的GET和POST請求 package com.example.testget;import org.apache.http.HttpEntity;import android.content.Context;import com.loopj.android.http.AsyncHttpClient; import com.loopj.android.http.AsyncHttpResponseHandler; import com.loopj.android.http.RequestParams;public class XcAsyncHttpClientUtil {public static final String BASE_URL = "http://ntiaoji.kaoyan.com";public static final String LOGIN_URL = "/tjadm/login";public static final String INDEX1 = "/tjadm/1.html";private static AsyncHttpClient client = new AsyncHttpClient();public static void get(String url, RequestParams params,AsyncHttpResponseHandler responseHandler) {client.get(getAbsoluteUrl(url), params, responseHandler);}public static void post(String url, RequestParams params,AsyncHttpResponseHandler responseHandler) {client.post(getAbsoluteUrl(url), params, responseHandler);}public static void post(Context context, String url, HttpEntity entity,AsyncHttpResponseHandler responseHandler) {client.post(context, getAbsoluteUrl(url), entity, "", responseHandler);}public static String getAbsoluteUrl(String relativeUrl) {return BASE_URL + relativeUrl;} }
3、編輯activity_main.xml，添加兩個按鈕，一個登陸，一個獲取表格數據 <LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"xmlns:tools="http://schemas.android.com/tools"android:layout_width="match_parent"android:layout_height="match_parent"android:paddingBottom="@dimen/activity_vertical_margin"android:paddingLeft="@dimen/activity_horizontal_margin"android:paddingRight="@dimen/activity_horizontal_margin"android:paddingTop="@dimen/activity_vertical_margin"tools:context="com.example.testget.MainActivity" ><TextViewandroid:layout_width="wrap_content"android:layout_height="wrap_content"android:text="@string/hello_world" /><Buttonandroid:id="@+id/btn"android:layout_width="wrap_content"android:layout_height="wrap_content"android:text="登陸" ></Button><Buttonandroid:id="@+id/btn1"android:layout_width="wrap_content"android:layout_height="wrap_content"android:text="獲取表格數據" ></Button></LinearLayout>效果圖如下：
4、編輯MainActivity.java，添加按鈕點擊動作，dologin（）用來實現登陸，doGetData（）用來獲取表格數據，參數page用來構建請求的URL，初始化值為1，可自增，獲取其他頁面的數據 @Overrideprotected void onCreate(Bundle savedInstanceState) {super.onCreate(savedInstanceState);setContentView(R.layout.activity_main);btn = (Button) findViewById(R.id.btn);btn.setOnClickListener(new OnClickListener() {@Overridepublic void onClick(View v) {dologin();}});btn1 = (Button) findViewById(R.id.btn1);btn1.setOnClickListener(new OnClickListener() {@Overridepublic void onClick(View v) {doGetData();}});}private void dologin() {RequestParams params = new RequestParams();params.put("username", "kytj1");params.put("password", "***********");XcAsyncHttpClientUtil.post(XcAsyncHttpClientUtil.LOGIN_URL, params,new AsyncHttpResponseHandler() {@Overridepublic void onSuccess(int statusCode, Header[] headers,byte[] responseBody) {try {String jsonString = new String(responseBody,"UTF-8");Log.e("TAG", jsonString);} catch (UnsupportedEncodingException e) {e.printStackTrace();}}@Overridepublic void onFailure(int statusCode, Header[] headers,byte[] responseBody, Throwable error) {Log.e("Login", "onFailure");}});}protected void doGetData() {RequestParams params = new RequestParams();XcAsyncHttpClientUtil.get("/tjadm/" + page + ".html", params,new AsyncHttpResponseHandler() {@Overridepublic void onSuccess(int statusCode, Header[] headers,byte[] responseBody) {try {String jsonString = new String(responseBody,"UTF-8");parse(jsonString);} catch (UnsupportedEncodingException e) {e.printStackTrace();}}@Overridepublic void onFailure(int statusCode, Header[] headers,byte[] responseBody, Throwable error) {}});} 取到網頁數據內容還不算完，還得解析出所需數據。 doGetData（）取到的respoBody由UTF-8編碼，解碼后得到字符串格式數據交由parse（）解析。

Java解析HTML數據

之前沒有做過如何解析HTML數據，開始還有點頭疼，不知道如何下手，在網上搜索解決辦法。然后發現了這個庫 jsoup
jsoup 是一款Java 的HTML解析器，可直接解析某個URL地址、HTML文本內容。它提供了一套非常省力的API，可通過DOM，CSS以及類似于jQuery的操作方法來取出和操作數據。官方網站：http://jsoup.org/
點擊下載jsoup庫

把下載到的jsoup-1.8.3.jar庫添加到Android工程libs文件夾下
解析如下HTML數據

原數據里table下有21條數據，第1條為表格title信息，如姓名、報考學校、報考專業等字段，第2-21條為實際的學生信息。 Java代碼如下： protected void parse(String html) {Document doc = Jsoup.parse(html);Element tiaojiTab = doc.select("table.tiaoji-tab").first();Elements lists = tiaojiTab.getElementsByTag("tr");int size = lists.size();for (int i = 1; i < size; i++) {Element item = lists.get(i);Elements els = item.getElementsByTag("td");String all = "";for (int j = 0; j < els.size(); j++) {Element value = els.get(j);String text = value.text();all = all + text + "#";}initData(all);Log.e("tag", all);}page++;if (page < totalsize + 1) {doGetData();} else {page = 1;}}doc.select("table.tiaoji-tab").first();從整個HTML文檔里取出要解析的內容信息，根據“tr”取得元素組，從第2條開始取數據，調用for循環。對于單個字段間添加“#”號，以方便后續在Excel中處理數據。 initData(all)把單獨html頁上取得的數據寫到txt文件里。 page++;if (page < totalsize + 1) {doGetData();} else {page = 1;}繼續取下一頁，設置的totalSize=200，即每運行一次程序，抓取200頁數據。
把數據寫入到本地txt文件里代碼： private void initData(String msg) {String filePath = "/sdcard/Test/";String fileName = "tiaoji.txt";makeFilePath(filePath, fileName);writeTxtToFile(msg, filePath, fileName);}// 將字符串寫入到文本文件中public void writeTxtToFile(String strcontent, String filePath,String fileName) {// 生成文件夾之后，再生成文件，不然會出錯String strFilePath = filePath + fileName;// 每次寫入時，都換行寫String strContent = strcontent + "\r\n";try {File file = new File(strFilePath);if (!file.exists()) {Log.d("TestFile", "Create the file:" + strFilePath);file.getParentFile().mkdirs();file.createNewFile();}RandomAccessFile raf = new RandomAccessFile(file, "rwd");raf.seek(file.length());raf.write(strContent.getBytes());raf.close();} catch (Exception e) {Log.e("TestFile", "Error on write File:" + e);}}// 生成文件public File makeFilePath(String filePath, String fileName) {File file = null;makeRootDirectory(filePath);try {file = new File(filePath + fileName);if (!file.exists()) {file.createNewFile();}} catch (Exception e) {e.printStackTrace();}return file;}// 生成文件夾public static void makeRootDirectory(String filePath) {File file = null;try {file = new File(filePath);if (!file.exists()) {file.mkdir();}} catch (Exception e) {Log.i("error:", e + "");}}

導入txt到Excel

1、連接手機到電腦，打開應用寶，工具箱里選擇文件管理，把txt文件導入到電腦上 2、打開Excel，選擇數據-自文本

按照提示，選擇導出的txt文件，第2步中分隔符號選擇其他，填入“#”，再完成
這樣，就把數據成功的在Excel中顯示了。

完整MainActivity.java如下： package com.example.testget;import java.io.File; import java.io.RandomAccessFile; import java.io.UnsupportedEncodingException;import org.apache.http.Header; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements;import android.app.Activity; import android.os.Bundle; import android.util.Log; import android.view.View; import android.view.View.OnClickListener; import android.widget.Button;import com.loopj.android.http.AsyncHttpResponseHandler; import com.loopj.android.http.RequestParams;public class MainActivity extends Activity {private Button btn, btn1;private int page = 1;private static final int totalsize = 200;@Overrideprotected void onCreate(Bundle savedInstanceState) {super.onCreate(savedInstanceState);setContentView(R.layout.activity_main);btn = (Button) findViewById(R.id.btn);btn.setOnClickListener(new OnClickListener() {@Overridepublic void onClick(View v) {dologin();}});btn1 = (Button) findViewById(R.id.btn1);btn1.setOnClickListener(new OnClickListener() {@Overridepublic void onClick(View v) {doGetData();}});}private void dologin() {RequestParams params = new RequestParams();params.put("username", "kytj1");params.put("password", "************");XcAsyncHttpClientUtil.post(XcAsyncHttpClientUtil.LOGIN_URL, params,new AsyncHttpResponseHandler() {@Overridepublic void onSuccess(int statusCode, Header[] headers,byte[] responseBody) {try {String jsonString = new String(responseBody,"UTF-8");Log.e("TAG", jsonString);} catch (UnsupportedEncodingException e) {e.printStackTrace();}}@Overridepublic void onFailure(int statusCode, Header[] headers,byte[] responseBody, Throwable error) {Log.e("Login", "onFailure");}});}protected void doGetData() {RequestParams params = new RequestParams();XcAsyncHttpClientUtil.get("/tjadm/" + page + ".html", params,new AsyncHttpResponseHandler() {@Overridepublic void onSuccess(int statusCode, Header[] headers,byte[] responseBody) {try {String jsonString = new String(responseBody,"UTF-8");parse(jsonString);} catch (UnsupportedEncodingException e) {e.printStackTrace();}}@Overridepublic void onFailure(int statusCode, Header[] headers,byte[] responseBody, Throwable error) {}});}protected void parse(String html) {Document doc = Jsoup.parse(html);Element tiaojiTab = doc.select("table.tiaoji-tab").first();Elements lists = tiaojiTab.getElementsByTag("tr");int size = lists.size();for (int i = 1; i < size; i++) {Element item = lists.get(i);Elements els = item.getElementsByTag("td");String all = "";for (int j = 0; j < els.size(); j++) {Element value = els.get(j);String text = value.text();all = all + text + "#";}initData(all);Log.e("tag", all);}page++;if (page < totalsize + 1) {doGetData();} else {page = 1;}}private void initData(String msg) {String filePath = "/sdcard/Test/";String fileName = "tiaoji.txt";makeFilePath(filePath, fileName);writeTxtToFile(msg, filePath, fileName);}// 將字符串寫入到文本文件中public void writeTxtToFile(String strcontent, String filePath,String fileName) {// 生成文件夾之后，再生成文件，不然會出錯String strFilePath = filePath + fileName;// 每次寫入時，都換行寫String strContent = strcontent + "\r\n";try {File file = new File(strFilePath);if (!file.exists()) {Log.d("TestFile", "Create the file:" + strFilePath);file.getParentFile().mkdirs();file.createNewFile();}RandomAccessFile raf = new RandomAccessFile(file, "rwd");raf.seek(file.length());raf.write(strContent.getBytes());raf.close();} catch (Exception e) {Log.e("TestFile", "Error on write File:" + e);}}// 生成文件public File makeFilePath(String filePath, String fileName) {File file = null;makeRootDirectory(filePath);try {file = new File(filePath + fileName);if (!file.exists()) {file.createNewFile();}} catch (Exception e) {e.printStackTrace();}return file;}// 生成文件夾public static void makeRootDirectory(String filePath) {File file = null;try {file = new File(filePath);if (!file.exists()) {file.mkdir();}} catch (Exception e) {Log.i("error:", e + "");}}}

哈哈哈哈哈哈~

總結

以上是生活随笔為你收集整理的抓取网页数据并解析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇： hr有必要学python吗_人力资源分析
下一篇：国内9大免费CDN汇总，除了加速乐，你还