爬蟲，是一種按照一定的規(guī)則，自動(dòng)地抓取網(wǎng)站的程序或者腳本。`.NET`寫爬蟲非常簡(jiǎn)單，并能輕松優(yōu)化性能。今天我將分享一段簡(jiǎn)短的代碼，爬出博客園前200頁精華內(nèi)容，然后通過微小的改動(dòng)，將代碼升級(jí)為多線程爬蟲，讓爬蟲速度提升數(shù)倍；最后將對(duì)爬到了內(nèi)容進(jìn)行一些有趣的分析。

我的演示代碼通過LINQPad運(yùn)行，可以在這里找到最新的LINQPad下載鏈接：https://www.linqpad.net/Download.aspx

這些代碼同樣可以運(yùn)行在Visual Studio中。其中.Dump()方法可以在Visual Studio中搜索并安裝NuGet包即可兼容：

Install-Package LINQPad

爬蟲的三要素

經(jīng)過我“多年”的爬蟲騷操作的經(jīng)驗(yàn)，我認(rèn)為爬蟲無非就是：

下載網(wǎng)站數(shù)據(jù)；

解析/保存網(wǎng)站數(shù)據(jù)；

分析數(shù)據(jù)與下個(gè)頁面之間的關(guān)系，以便繼續(xù)下載下個(gè)頁面數(shù)據(jù)；

下面我將通過代碼演示這三點(diǎn)。

下載網(wǎng)站數(shù)據(jù)

換作以前，有WebRequest/WebClient/RestSharp之類的選擇，但如今已經(jīng)都被HttpClient取代了，HttpClient同時(shí)內(nèi)置于.NET Framework 4.5/netstandard 1.1及以后的版本，不用安裝第三方包。

代碼使用也非常簡(jiǎn)單：

var client = new HttpClient(); string response = await client.DownloadStringAsync("https://www.cnblogs.com");

其中response就是從博客園下載的html字符串。

解析網(wǎng)站數(shù)據(jù)

.NET解析html有多個(gè)包可供選擇，如HtmlAgilityPack、CsQuery等。但AngleSharp由于其簡(jiǎn)單好用、功能強(qiáng)大，已經(jīng)也成為解析html的不錯(cuò)之選。

AngleSharp是開源項(xiàng)目，Github地址是：https://github.com/AngleSharp/AngleSharp。

近期還加入了.NET Foundation（.NET基金會(huì)），官網(wǎng)地址是：https://anglesharp.github.io 。

使用AngleSharp解析html過程（在`INQPad`，按Ctrl+Shift+P快速安裝NuGet包）：

Install-Package AngleSharp Install-Package Newtonsoft.Json

使用代碼如下：

var parser = new HtmlParser(); IHtmlDocument dom = parser.ParseDocument(@"<ul> <li> <a href=""cnblogs.com"">博客園</a> <a href=""baidu.com"">百度</a> <a href=""google.com"">谷歌</a> </li> <ul>"); var data = dom.QuerySelectorAll("ul li a").Select(x => new { Link = x.GetAttribute("href"), Title = x.TextContent }).Dump();

運(yùn)行效果：

Link	Title
cnblogs.com	博客園
baidu.com	百度
google.com	谷歌

然后這些數(shù)據(jù)可以通過JSON序列化，保存到桌面上：

File.WriteAllText(@"C:\Users\sdfly\Desktop\cnblogs.json", JsonConvert.SerializeObject(data));

注意：在解析網(wǎng)頁數(shù)據(jù)時(shí)，可能還需要靈活運(yùn)用`正則表達(dá)式`，來抓取沒那么直觀的信息。

頁面與頁面之間的關(guān)系

我們找到博客園的分頁器，打開F12開發(fā)者工具，用鼠標(biāo)定位到分頁器：

如圖，注意到，每一個(gè)頁面按鈕，都對(duì)應(yīng)了一個(gè)不同的鏈接地址，如第2頁，對(duì)應(yīng)的的鏈接是：/sitehome/p/2，第3頁，對(duì)應(yīng)的是：/sitehome/p/3。

博客園首頁內(nèi)容一共有200頁，因此只需將在每一頁拼接一個(gè)$"/sitehome/p/{頁面數(shù)碼}"即可。

代碼與優(yōu)化

根據(jù)上面的知識(shí)，可以輕松將博客園首頁200頁數(shù)據(jù)爬出來：

var http = new HttpClient(); var parser = new HtmlParser(); for (var page = 1; page <= 200; ++page) { string pageData = await http.GetStringAsync($"https://www.cnblogs.com/sitehome/p/{page}"); IHtmlDocument doc = await parser.ParseDocumentAsync(pageData); doc.QuerySelectorAll(".post_item").Select(tag => new { Title = tag.QuerySelector(".titlelnk").TextContent, Page = page, UserName = tag.QuerySelector(".post_item_foot .lightblue").TextContent, PublishTime = DateTime.Parse(Regex.Match(tag.QuerySelector(".post_item_foot").ChildNodes[2].TextContent, @"(\d{4}\-\d{2}\-\d{2}\s\d{2}:\d{2})", RegexOptions.None).Value), CommentCount = int.Parse(tag.QuerySelector(".post_item_foot .article_comment").TextContent.Trim()[3..^1]), ViewCount = int.Parse(tag.QuerySelector(".post_item_foot .article_view").TextContent[3..^1]), BriefContent = tag.QuerySelector(".post_item_summary").TextContent.Trim(), }).Dump(page); }

運(yùn)行結(jié)果如下：

多線程優(yōu)化

這個(gè)爬蟲將200頁數(shù)據(jù)全部爬完，根據(jù)我的網(wǎng)速，需要76秒，任務(wù)管理器顯示如下（接收帶寬只有1.7Mbps）：

在.NET/C#中，只需對(duì)此代碼的for循環(huán)修改為L(zhǎng)INQ，然后而加以使用Parallel LINQ，即可將代碼并行化：

Enumerable.Range(1,?200)??//?for循環(huán)轉(zhuǎn)換為L(zhǎng)INQ .AsParallel() // 將LINQ并行化 .AsOrdered() // 按順序保存結(jié)果（注意并非按順序執(zhí)行） .SelectMany(page => { return Task.Run(async() => // 非異步代碼使用async/await，需要包一層Task { string pageData = await http.GetStringAsync($"https://www.cnblogs.com/sitehome/p/{page}".Dump()); IHtmlDocument doc = await parser.ParseDocumentAsync(pageData); return doc.QuerySelectorAll(".post_item").Select(tag => new { Title = tag.QuerySelector(".titlelnk").TextContent, Page = page, UserName = tag.QuerySelector(".post_item_foot .lightblue").TextContent, PublishTime = DateTime.Parse(Regex.Match(tag.QuerySelector(".post_item_foot").ChildNodes[2].TextContent, @"(\d{4}\-\d{2}\-\d{2}\s\d{2}:\d{2})", RegexOptions.None).Value), CommentCount = int.Parse(tag.QuerySelector(".post_item_foot .article_comment").TextContent.Trim()[3..^1]), ViewCount = int.Parse(tag.QuerySelector(".post_item_foot .article_view").TextContent[3..^1]), BriefContent = tag.QuerySelector(".post_item_summary").TextContent.Trim(), }); }).GetAwaiter().GetResult(); // 等待Task執(zhí)行完畢 })

通過這個(gè)非常簡(jiǎn)單的優(yōu)化，在我的電腦上，即可將運(yùn)行時(shí)間降低為14.915秒，速度快了5倍！同時(shí)任務(wù)管理器顯示網(wǎng)絡(luò)下載流量為（16.5Mbps）：

數(shù)據(jù)簡(jiǎn)單分析

現(xiàn)在我們得到了博客園首頁博客簡(jiǎn)要數(shù)據(jù)，我將其保存到桌面的一個(gè)json文件中（大家也可以試著保存為其它格式，如數(shù)據(jù)庫中）。當(dāng)然少不了分析一番。使用LINQPad，可以很輕松地分析這些數(shù)據(jù)，并生成圖表。

分析基礎(chǔ)

所有的分析，都基于以下代碼：

void Main() { var data = JsonConvert.DeserializeObject<List<CnblogsItem>>( File.ReadAllText(@"C:\Users\sdfly\Desktop\cnblogs.json")); } class?CnblogsItem { public string TItle { get; set; } public int Page { get; set; } public string UserName { get; set; } public DateTime PublishTime { get; set; } public int CommentCount { get; set; } public int ViewCount { get; set; } public string BriefContent { get; set; } }

我創(chuàng)建了一個(gè)CnblogsItem的類，用來反序列號(hào)桌面上json文件的數(shù)據(jù)。返序列化完成后，這些數(shù)據(jù)保存在data變量中。

什么時(shí)間發(fā)文章瀏覽量最高？

Util.Chart(data .GroupBy(x => x.PublishTime.Hour) .Select(x => new { Hour = x.Key, ViewCount = 1.0 * x.Sum(v => v.ViewCount) }) .OrderByDescending(x => x.Hour), x => x.Hour, y => y.ViewCount).Dump();

結(jié)果：

可見，每天上午9點(diǎn)發(fā)文章瀏覽量最高，凌晨3-4點(diǎn)發(fā)文章瀏覽量最低（誰會(huì)

在晚上3-4點(diǎn)爬起來看東西呢？）

星期幾發(fā)的文章多？

Util.Chart(data .GroupBy(x => x.PublishTime.DayOfWeek) .Select(x?=>?new?{?WeekDay?=?x.Key,?ArticleCount?=?x.Count()?}) .OrderBy(x => x.WeekDay), x => x.WeekDay.ToString(), y => y.ArticleCount).Dump();

結(jié)果：

可見：星期一、二、三的文章最多，星期四、五逐漸冷淡，星期六、星期日最少?！瞧诹刃瞧谌沼侄嘁稽c(diǎn)。（是因?yàn)?96造成的嗎？）

哪位大佬發(fā)文最多（取前9名）？

結(jié)果：

可見，大佬周國(guó)通竟然在前200頁博客中，獨(dú)占54篇，我點(diǎn)開了他的博客(https://www.cnblogs.com/tylerzhou/)看了一下，竟然都有相當(dāng)?shù)馁|(zhì)量——絕無放水可言，深入講了許多.NET的測(cè)試系列教程，確實(shí)是大佬！

結(jié)語

實(shí)際應(yīng)用的爬蟲可能不像博客園這么簡(jiǎn)單，爬蟲如果深入，可以遇到很多很多非常有意思的情況。

今天謹(jǐn)希望通過這個(gè)簡(jiǎn)單的博客園爬蟲，讓大家多多享受寫.NET/C#代碼的樂趣?。

出處：微信公眾號(hào)【DotNet騷操作】微信可能無法留言，可點(diǎn)擊“閱讀原文”轉(zhuǎn)到博客園留言。原文鏈接：https://www.cnblogs.com/sdflysha/p/20190826-cnblogs-crawler-home.html

總結(jié)

以上是生活随笔為你收集整理的.NET轻松写博客园爬虫的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。