?????? 最近因為一個作業需要完成CNKI爬蟲，研究爬蟲架構的時候發現了這個疑似移植于Python的著名開源爬蟲框架Scrapy的ScrapySharp，然而在網上尋找之后只發現了這個F#的Demo，就使用原文中示例的網站寫了這個C#版本的代碼。

?????? PS:研究之后發現，ScrapySharp和Scrapy差距還是挺大的，沒有Scrapy那樣完善的八大組件，只含有獲取網頁內容和基于HtmlAgilityPack擴展的網頁解析功能，莫名有些小失望。

using System; using System.IO; using System.Linq; using System.Threading.Tasks; using HtmlAgilityPack; using ScrapySharp.Extensions; using ScrapySharp.Network;namespace ScrapySharpDemo {class Program{static void Main(string[] args){//示例網站地址var url = "http://bbs.tianya.cn/post-12-563201-1.shtml";var web = new ScrapingBrowser();var html = web.DownloadString(new Uri(url));var doc = new HtmlDocument();doc.LoadHtml(html);//獲取網站中的圖片地址var urls= doc.DocumentNode.CssSelect("div.bbs-content > img").Select(node => node.GetAttributeValue("original")).ToList();//并行下載圖片 Parallel.ForEach(urls, SavePic);}public static void SavePic(string url){var web = new ScrapingBrowser();//因天涯網站限制,所有站外來源都無法訪問圖片,故先設置請求頭Refer屬性為當前頁地址web.Headers.Add("Referer", "http://bbs.tianya.cn/post-12-563201-1.shtml");var pic = web.NavigateToPage(new Uri(url)).RawResponse.Body;var file = url.Substring(url.LastIndexOf("/", StringComparison.Ordinal));if (!Directory.Exists("imgs"))Directory.CreateDirectory("imgs");File.WriteAllBytes("imgs" + file, pic);}} }

轉載于:https://www.cnblogs.com/WayneShao/p/5858549.html

總結

以上是生活随笔為你收集整理的[爬虫学习笔记]C# 使用 ScrapySharp 并行下载天涯图片的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。