當前位置：首頁 > 编程语言 > asp.net >内容正文

asp.net

ASP.NET 抓取网页内容

發布時間：2023/12/1 asp.net 33 豆豆

生活随笔收集整理的這篇文章主要介紹了 ASP.NET 抓取网页内容小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

（轉）ASP.NET 抓取網頁內容

ASP.NET 抓取網頁內容－文字

ASP.NET 中抓取網頁內容是非常方便的，而其中更是解決了 ASP 中困擾我們的編碼問題。

需要三個類：WebRequest、WebResponse、StreamReader。

WebRequest、WebResponse?的名稱空間是：

System.Net

StreamReader?的名稱空間是：

System.IO

核心代碼

WebRequest request = WebRequest.Create("http://www.cftea.com/"); WebResponse response = request.GetResponse(); StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("gb2312"));

WebRequest 類的 Create 為靜態方法，參數為要抓取的網頁的網址；
Encoding 指定編碼，Encoding 中有屬性 ASCII、UTF32、UTF8 等全球通用的編碼，但沒有 gb2312 這個編碼屬性，所以我們使用 GetEncoding 獲得 gb2312 編碼。

示例

<%@ Page Language="C#" %> <%@ Import Namespace="System.Net" %> <%@ Import Namespace="System.IO" %> <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <script runat="server">void Page_Load(object sender, EventArgs e){try{WebRequest request = WebRequest.Create("http://www.cftea.com/");WebResponse response = request.GetResponse();StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("gb2312"));tb.Text = reader.ReadToEnd();reader.Close();reader.Dispose();response.Close();}catch (Exception ex){tb.Text = ex.Message;}} </script> <html xmlns="http://www.w3.org/1999/xhtml" > <head runat="server"><title>抓取網頁內容 - 千一網絡</title> </head> <body><form id="form1" runat="server"><div><asp:TextBox ID="tb" runat="server" Width="500" Height="300" TextMode="multiLine"></asp:TextBox></div></form> </body> </html>

ASP.NET 抓取網頁內容－圖片

本文不僅適用于圖片，同樣實用于其它二進制文件。

需要四個類：WebRequest、WebResponse、Stream、FileStream。

WebRequest、WebResponse?的名稱空間是：

System.Net

Stream、FileStream?的名稱空間是：

System.IO

核心代碼

WebRequest request = WebRequest.Create("http://www.cftea.com/images/logo.gif"); WebResponse response = request.GetResponse(); Stream reader = response.GetResponseStream();FileStream writer = new FileStream("D:\\logo.gif", FileMode.OpenOrCreate, FileAccess.Write); byte[] buff = new byte[512]; int c = 0; //實際讀取的字節數 while ((c=reader.Read(buff, 0, buff.Length)) > 0) {writer.Write(buff, 0, c); } writer.Close();

注意類 Stream，不是 StreamReader。

示例

ASP.NET 抓取網頁內容－Post 數據

在抓取網頁時，有時候，需要將某些數據通過 Post 的方式發送到服務器，將以下代碼添加在網頁抓取的程序中，以實現將用戶名和密碼 Post 到服務器：

string data = "userName=admin&passwd=admin888";
byte[] requestBuffer = System.Text.Encoding.GetEncoding("gb2312").GetBytes(data);
?
request.Method = "POST";
request.ContentType = "application/x-www-form-urlencoded";
request.ContentLength = requestBuffer.Length;
using (Stream requestStream = request.GetRequestStream())
{
??? requestStream.Write(requestBuffer, 0, requestBuffer.Length);
??? requestStream.Close();
}
?
using (StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("gb2312")))
{
??? string str = reader.ReadToEnd();
??? reader.Close();
}

以上是以編碼 gb2312 為例。

ASP.NET 抓取網頁內容－防止重定向

在抓取網頁時，成功登錄服務器應用系統后，應用系統可能會通過 Response.Redirect 將網頁進行重定向，如果不需要響應這個重定向，那么，我們就不要把 reader.ReadToEnd() 給 Response.Write 出來，就可以了。

<%@ Page Language="C#" %> <%@ Import Namespace="System.Net" %> <%@ Import Namespace="System.IO" %> <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <script runat="server">void Page_Load(object sender, EventArgs e){try{WebRequest request = WebRequest.Create("http://www.cftea.com/images/logo.gif");WebResponse response = request.GetResponse();Stream reader = response.GetResponseStream();FileStream writer = new FileStream("D:\\logo.gif", FileMode.OpenOrCreate, FileAccess.Write);byte[] buff = new byte[512];int c = 0; //實際讀取的字節數while ((c=reader.Read(buff, 0, buff.Length)) > 0){writer.Write(buff, 0, c);}writer.Close();writer.Dispose();reader.Close();reader.Dispose();response.Close();tb.Text = "保存成功！";}catch (Exception ex){tb.Text = ex.Message;}} </script> <html xmlns="http://www.w3.org/1999/xhtml" > <head runat="server"><title>抓取網頁圖片并保存 - 千一網絡</title> </head> <body><form id="form1" runat="server"><div><asp:TextBox ID="tb" runat="server" Width="500" Height="300" TextMode="multiLine"></asp:TextBox></div></form> </body> </html>

ASP.NET 抓取網頁內容－保持登錄狀態

利用 Post 數據成功登錄服務器應用系統后，就可以抓取需要登錄的頁面了，那么我們就可能需要在多個 Request 間保持登錄狀態。

首先，我們要使用 HttpWebRequest，而不是 WebRequest。

與 WebRequest 相比，變化的代碼是：

HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create(url);

注意：HttpWebRequest.Create 返回的類型仍是 WebRequest，所以要轉化一下。

其次，使用 CookieContainer。

System.Net.CookieContainer cc = new System.Net.CookieContainer();
request.CookieContainer = cc;
request2.CookieContainer = cc;

這樣 request 和 request2 之間就使用了相同的 Session，如果 request 登錄了，那么 request2 也是登錄狀態。

最后，如何在不同的頁面間使用同一個 CookieContainer。

要在不同的頁面間使用同一個 CookieContainer，只有把 CookieContainer 加入 Session。

Session.Add("ccc", cc); //存
?
CookieContainer cc = (CookieContainer)Session["ccc"]; //取

ASP.NET 抓取網頁內容－把當前會話帶到 WebRequest 中

比如說瀏覽器 B1 去訪問服務器端 S1，這會產生一個會話，而服務器端 S2 再用 WebRequest 去訪問服務器端 S1，這又會產生一個會話。現在的需求是讓 WebRequest 使用瀏覽器 B1 與 S1 之間的會話，也就是說要讓 S1 認為是 B1 在訪問 S1，而不是 S2 在訪問 S1。

這就要利用 Cookie 了，先在 S1 中取得與 B1 的?SessionID 的?Cookie，再將這個 Cookie 告訴 S2，S2 再將 Cookie 寫在 WebRequest 中。

WebRequest request = WebRequest.Create("url"); request.Headers.Add(HttpRequestHeader.Cookie, "ASPSESSIONIDSCATBTAD=KNNDKCNBONBOOBIHHHHAOKDM;"); WebResponse response = request.GetResponse(); StreamReader reader = new StreamReader(response.GetResponseStream(), System.Text.Encoding.GetEncoding("gb2312")); Response.Write(reader.ReadToEnd()); reader.Close(); reader.Dispose(); response.Close();

要說明的是：

本文并不是 Cookie 欺騙，因為 SessionID 是 S1 告訴 S2 的，并不是 S2 竊取的，雖然有些古怪，但這可能在一些特定的應用系統中會有用。
S1?必須要向 B1 寫?Session，這樣 SessionID 才會保存到 Cookie 中，并且 SessionID 才會保持不變。
在 ASP.NET 中取 Cookie 用 Request.Cookies，本文假設 Cookie 已經取出來。
不同的服務器端語言，SessionID 在 Cookie 中上名稱并不一樣，本文是 ASP 的 SessionID。
S1 可能不僅僅依靠 SessionID 來判斷當前登錄，它可能還會輔助于 Referer、User-Agent 等，這取決于 S1 端程序的設計。
其實本文算是本連載中“保持登錄狀態”的另一種方法。

ASP.NET 抓取網頁內容－如何更改來源 Referer 和 UserAgent

HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create("http://127.0.0.1/index.htm"); //request.Headers.Add(HttpRequestHeader.Referer, "http://www.cftea.com/"); // 錯誤 //request.Headers[HttpRequestHeader.Referer] = "http://www.cftea.com/"; // 錯誤 request.Referer = "http://www.cftea.com/"; // 正確

注釋掉的兩句是不對的，會發生錯誤：

此標頭必須使用適當的屬性進行修改。
參數名: name

UserAgent 類似。

轉載于:https://www.cnblogs.com/shide/p/3394980.html

總結

以上是生活随笔為你收集整理的ASP.NET 抓取网页内容的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇： Javascript -- In
下一篇：在进行 ASP.NET 开发时，有时候需