一、前言

去年9月份的時候我看到過外國朋友關(guān)于.NET Framework下HttpClient缺陷的分析后對HttpClient有了一定的了解。前幾日也有園友寫了一篇關(guān)于HttpClient的分析文章,?于是我想深入探索一下在.NET下使用HTTP請求的正確姿勢。姿勢不是越多越好,?而在于精不精。如果不深入了解,?小朋友可能會這樣想:?啊,?這個姿勢不High,?那我換一個吧, 殊不知那一個姿勢也有問題啊,?親。

中文版:?https://oschina.net/news/77036/httpclient

英文版:?https://www.infoq.com/news/2016/09/HttpClient

張大大版:?http://www.cnblogs.com/lori/p/7692152.html

?

二、準備好床和各種姿勢

1. 研究姿勢必然是要先準備好支撐點,?作為一個傳統(tǒng)的人, 還是比較喜歡床。

.NET Framework, .NET CORE Windows, .NET CORE Linux, .NET CORE Mac

2. 姿勢有以下幾種,?如果小朋友們有各特別的可以告訴我呀,?我很樂于嘗試的。

HttpClient, WebClient, HttpWebRequest

?

三、讓我們大干一場吧

Windows下統(tǒng)計端口使用的命令: netstat -ano | find "{port}" /c?

Linux?下統(tǒng)計端口使用的命令:??netstat -nat|grep -i "{port}"|wc -l

?

HttpWebRequest 測試代碼如下

class Program{ ? ? ? ?static void Main(string[] args){Parallel.For(0, 10, (i) =>{ ? ? ? ? ? ? ? ?while (true){ ? ? ? ? ? ? ? ? ? ?var webRequest = (HttpWebRequest)WebRequest.CreateHttp("http://"); ? ? ? ? ? ? ? ? ? ?var response = webRequest.GetResponse();response.Dispose();Console.WriteLine($"Process: {i}.");Thread.Sleep(5);}});Console.Read();}}

	.NET Framework	.NET Core Windows	.NET Core Linux	.NET Core Mac
HttpWebRequest	2	迅速攀升到1000+	性能很差,?攀升到70+并穩(wěn)定

?

WebClient因為有IDisposable接口,?于是我做兩份測試

static void Main(string[] args){Parallel.For(0, 10, (i) =>{ ? ? ? ? ? ? ? ?while (true){ ? ? ? ? ? ? ? ? ? ?using (WebClient client = new WebClient()){client.DownloadString("http://");Console.WriteLine($"Process: {i}.");}Thread.Sleep(5);}});Console.Read();}

	.NET Framework	.NET Core Windows	.NET Core Linux	.NET Core Mac
WebClient	?2	迅速攀升到1000+	性能較差,?攀升到400+穩(wěn)定

static void Main(string[] args){Parallel.For(0, 10, (i) =>{WebClient client = new WebClient(); ? ? ? ? ? ? ? ?while (true){client.DownloadString("http://");Console.WriteLine($"Process: {i}.");Thread.Sleep(5);}});Console.Read();}

	?.NET Framework	?.NET Core Windows	?.NET Core Linux	?.NET Core Mac
?WebClient	?2	?迅速攀升到1000+	?迅速攀升到1000+

?

HttpClient有IDisposable接口,?也做兩份測試

static void Main(string[] args){Parallel.For(0, 10, (i) =>{HttpClient client = new HttpClient(); ? ? ? ? ? ? ? ?while (true){ ? ? ? ? ? ? ? ?
? ?var html = client.GetStringAsync("http://").Result;Console.WriteLine($"Process: {i}.");Thread.Sleep(5);}});Console.Read();}

	.NET Framework	.NET Core Windows	.NET Core Linux	.NET Core Mac
HttpClient	10	10	10

?

static void Main(string[] args){Parallel.For(0, 10, (i) =>{ ? ? ? ? ? ? ?
while (true){ ? ? ? ? ? ? ? ? ?
?using (HttpClient client = new HttpClient()){ ? ? ? ? ? ? ? ? ? ?
? ?var html = client.GetStringAsync("http://").Result;Console.WriteLine($"Process: {i}.");}Thread.Sleep(5);}});Console.Read();}

	.NET Framework	.NET Core Windows	.NET Core Linux	.NET Core Mac
HttpClient	迅速攀升到1000+	迅速攀升到1000+	性能較差, 攀升到200+

??

結(jié)論

	.NET Framework	.NET Core Windows	.NET Core Linux	.NET Core Mac
HttpWebRequest	OK	Abnormal	Abnormal
WebClient	OK	Abnormal	Abnormal
HttpClient(每個線程一個對象)	OK	OK	OK
HttpClient(using)	Abnormal	Abnormal	Abnormal

??

有意思的細節(jié)與疑問

1. WebClient和HttpWebRequest為什么在10個線程下端口數(shù)為2并且都為2

2.?Linux下并行性能明顯變差

?

四、追根溯源

下載.net45源碼和corefx源碼

http://referencesource.microsoft.com/?右上角Download

https://github.com/dotnet/corefx

?

1.?分析.NET Core下WebClient的代碼,?發(fā)現(xiàn)它是使用WebRequest即HttpWebRequest來請求數(shù)據(jù)

?

2.?分析.NET Core下HttpWebRequest的代碼找到SendRequest方法

熟悉嗎?!!原來.NET Core一切的根源都出在HttpClient身上...

?

3.?順著HttpClient代碼我們可以發(fā)現(xiàn),?微軟為Windows, Unix各自實現(xiàn)了WinHttpHandler和CurlHandler,?猜測Uniux下使用的是Curl.?最終確實能查到Windows下是DLLImport了winhttp.dll,?但Unix系統(tǒng)是DLLImport的?System.Net.Http.Native,?這是個什么我暫時不清楚,?也不清楚它跟curl的關(guān)系,?也許是一個中轉(zhuǎn)調(diào)用。

?

4.?我們再回過頭來看.NET Framework下為什么HttpWebRequest和WebClient是正常的, WebClient依然是使用的HttpWebRequest,?因此推斷.NET Framework的HttpWebRequest的實現(xiàn)與.NET Core是不一致的。簡單的查找代碼,?果然每一個Http請求是由ServicePointManager管理的ServicePoint來實現(xiàn)的,?并且ServicePoint是使用.NET下Socket來實現(xiàn)的,?一切就明了了。現(xiàn)在對剛才說的 “WebClient和HttpWebRequest為什么在10個線程下端口數(shù)為2并且都為2”有感覺了吧？我們把剛才的測試代碼再加上一行

static void Main(string[] args){ServicePointManager.DefaultConnectionLimit = 10;Parallel.For(0, 10, (i) =>{ ? ? ? ? ? ? ? ?while (true){ ? ? ? ? ? ? ? ? ? ?var webRequest = (HttpWebRequest)WebRequest.CreateHttp("http://www.ooodata.com:5000"); ? ? ? ? ? ? ? ? ? ?var response = webRequest.GetResponse();response.Dispose();Console.WriteLine($"Process: {i}.");Thread.Sleep(5);}});Console.Read();}

	.NET Framework	.NET Core Windows	.NET core Linux	.NET Core Mac
HttpWebRequest	10	迅速攀升到1000+	性能很差,?攀升到70+并穩(wěn)定

?

?

大家看.NET Core下雖然可以設(shè)置?ServicePointManager.DefaultConnectionLimit = 10;?但是依然沒什么卵用...? 原因也很明顯, HttpWebRequest根本沒有使用ServicePointManager做管理。在我查了源碼后雖然.NET Core實現(xiàn)了ServicePointManager和ServicePoint,?不過已經(jīng)遷到另外一個項目下面,?也未發(fā)現(xiàn)有什么作用。所以大家千萬要注意，不要以為在.NET Core可以設(shè)置ServicePointManager.DefaultConnectionLimit這個值了,?就以為.NET Framework下的效果會一致(?其它地方同理)

?

5. HttpClient在.NET Framework下的代碼我沒有找到, ILSpy也查看不了,?但猜想應(yīng)該是和.NET Core下一致的,?所以才會有一樣的表象,?有大神知道的可以告訴我一下。

?

五、好累啊,?終于交差了,?就是不知道滿足不滿足

1.?在.NET Framework下盡量使用HttpWebRequest或者WebClient,?并且根據(jù)你自己的多線程情況設(shè)置?ServicePointManager.DefaultConnectionLimit的值,?以及ThreadPool.SetMinThreads(200, 200)的值

2.?在.NET Framework下如果一定要使用HttpClient,?一個線程使用一個HttpClient對象,?這樣不會出現(xiàn)端口被耗盡的情況

3.?在.NET Core 2.0下只有HttpClient一條路選,?一個線程使用一個HttpClient對象,?當然也許我們可以參照.NET Framework下的代碼重新實現(xiàn)一個ServicePointManager管理的HttpWebRequest,?這是后話了

?

六、抽一根煙吧

1. 大膽猜想一下,?微軟應(yīng)該是趕進度才偷懶使用HttpClient來實現(xiàn)HttpWebRequest導(dǎo)致的吧。

2. Linux并行性能好像差很多,?原因不明,?請聽下回分解

3.?這也就是開源的魅力所在了吧!?我們可以順藤摸瓜,?查明真相。讓我們一起為.NET Core的開源事業(yè)奉獻自己的一份力吧(其實我只是不想丟飯碗好吧:::)

4.?如果有說錯請指正,?不接受漫罵

5.?歡迎各路大神和作品加入 https://github.com/dotnetcore (中國 .net core?開源小分隊)

6.?月收入低于3萬的也是程序員!!!!

原文地址：http://www.cnblogs.com/modestmt/p/7724821.html

---

.NET社區(qū)新聞，深度好文，微信中搜索dotNET跨平臺或掃描二維碼關(guān)注

總結(jié)

以上是生活随笔為你收集整理的.NET下使用HTTP请求的正确姿势的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。