當(dāng)前位置：首頁 >

微软用它取代了`Nginx`吞吐量提升了百分之八十！

發(fā)布時間：2024/1/11 73 coder

生活随笔收集整理的這篇文章主要介紹了微软用它取代了`Nginx`吞吐量提升了百分之八十！小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

Azure應(yīng)用服務(wù)用YARP取代了Nginx，獲得了80%以上的吞吐量。他們每天處理160B多個請求(1.9 m RPS)。這是微軟的一項了不起的技術(shù)創(chuàng)新。

首先我們來介紹一下什么是Yarp

Yarp是什么？

YARP（Yet Another Reverse Proxy）是一個開源的、高性能的反向代理庫，由Microsoft開發(fā)，使用C#語言編寫。它旨在作為.NET平臺上構(gòu)建反向代理服務(wù)器的基礎(chǔ)。YARP主要針對.NET 5及以上版本，允許開發(fā)者在.NET應(yīng)用程序中輕松地實現(xiàn)反向代理的功能。

YARP的主要特點和功能：

模塊化和可擴展性： YARP設(shè)計成高度模塊化的，這意味著可以根據(jù)需要替換或擴展內(nèi)部組件，如HTTP請求路由、負載均衡、健康檢查等。
性能： YARP針對高性能進行了優(yōu)化，利用了.NET的異步編程模型和高效的IO操作，以處理大量并發(fā)連接。
配置驅(qū)動： YARP的行為可以通過配置來控制，支持從文件、數(shù)據(jù)庫或其他來源動態(tài)加載配置。
路由： 可以基于各種參數(shù)（如路徑、頭部、查詢參數(shù)）配置請求路由規(guī)則。
負載均衡： 內(nèi)置多種負載均衡策略，如輪詢、最少連接、隨機選擇等，并且可以自定義負載均衡策略。
健康檢查： 支持后端服務(wù)的健康檢查，以確保請求只會被轉(zhuǎn)發(fā)到健康的后端服務(wù)實例。
轉(zhuǎn)換器： 允許對請求和響應(yīng)進行轉(zhuǎn)換，如修改頭部、路徑或查詢參數(shù)。
會話親和性： 支持會話親和性（Session Affinity），確保來自同一客戶端的請求被發(fā)送到相同的后端服務(wù)實例。

使用YARP的一些場景：

反向代理： 在客戶端和后端服務(wù)之間提供一個中間層，用于請求轉(zhuǎn)發(fā)和負載均衡。
API網(wǎng)關(guān)： 作為微服務(wù)架構(gòu)中的API網(wǎng)關(guān)，提供路由、鑒權(quán)、監(jiān)控等功能。
邊緣服務(wù)： 在應(yīng)用程序和外部世界之間提供安全層，處理SSL終止、請求限制等任務(wù)。

Yarp簡單的使用

創(chuàng)建一個WebApi的項目

安裝Nuget包

<ItemGroup>
	<PackageReference Include="Yarp.ReverseProxy" Version="2.0.0" />
</ItemGroup>

打開appsettings.json

{
 "Logging": {
   "LogLevel": {
     "Default": "Information",
     "Microsoft": "Warning",
     "Microsoft.Hosting.Lifetime": "Information"
   }
 },
 "AllowedHosts": "*",
 "ReverseProxy": {
   "Routes": {
     "route1" : {
       "ClusterId": "cluster1",
       "Match": {
         "Path": "{**catch-all}"
       }
     }
   },
   "Clusters": {
     "cluster1": {
       "Destinations": {
         "destination1": {
           "Address": "https://cn.bing.com/"
         }
       }
     }
   }
 }
}

打開Program.cs

var builder = WebApplication.CreateBuilder(args);
builder.Services.AddReverseProxy()
    .LoadFromConfig(builder.Configuration.GetSection("ReverseProxy"));
var app = builder.Build();
app.MapReverseProxy();
app.Run();

然后啟動項目，訪問我們的api就會被代理轉(zhuǎn)發(fā)到bing上

Yarp工具代理使用

下面我們在提供一個在中間件使用yarp的方式

我們需要用到IHttpForwarder

先修改Program.cs 在這里我們注入了HttpForwarder，然后提供一個Run中間件，在中間件中手動指定了端點的地址https://cn.bing.com/ 然后我們啟動一下項目。

using Yarp.ReverseProxy.Forwarder;

var builder = WebApplication.CreateBuilder(args);
builder.Services.AddHttpForwarder(); // 注入IHttpForwarder 
var app = builder.Build();

var httpMessage = new HttpMessageInvoker(new HttpClientHandler());

app.Run((async context =>
{
    var httpForwarder = context.RequestServices.GetRequiredService<IHttpForwarder>();
    var destinationPrefix = "https://cn.bing.com/";

    await httpForwarder.SendAsync(context, destinationPrefix, httpMessage);
}));

app.Run();

也是一樣會被代理過去，但是于簡單使用不一樣的是我們是在代碼層面控制代理的。

使用yarp修改Bing的響應(yīng)內(nèi)容

我們繼續(xù)基于上面的代理使用進行修改bing的相應(yīng)內(nèi)容！

打開Program.cs

var builder = WebApplication.CreateBuilder(args);
builder.Services.AddHttpForwarder(); // 注入IHttpForwarder 
var app = builder.Build();

var httpMessage = new HttpMessageInvoker(new HttpClientHandler()
{
    // 忽略https錯誤
    ServerCertificateCustomValidationCallback = (_, _, _, _) => true,
    AllowAutoRedirect = false,
    AutomaticDecompression = DecompressionMethods.GZip,
    UseCookies = false,
    UseProxy = false,
    UseDefaultCredentials = true,
});
var destinationPrefix = "https://cn.bing.com/";

var bingTransformer = new BingTransformer();

app.Run((async context =>
{
    var httpForwarder = context.RequestServices.GetRequiredService<IHttpForwarder>();
    await httpForwarder.SendAsync(context, destinationPrefix, httpMessage, new ForwarderRequestConfig(),
        bingTransformer);
}));

app.Run();

創(chuàng)建BingTransformer.cs

public class BingTransformer : HttpTransformer
{
    public override async ValueTask TransformRequestAsync(HttpContext httpContext, HttpRequestMessage proxyRequest,
        string destinationPrefix,
        CancellationToken cancellationToken)
    {
        var uri = RequestUtilities.MakeDestinationAddress(destinationPrefix, httpContext.Request.Path,
            httpContext.Request.QueryString);
        proxyRequest.RequestUri = uri;
        proxyRequest.Headers.Host = uri.Host;
        await base.TransformRequestAsync(httpContext, proxyRequest, destinationPrefix, cancellationToken);
    }

    public override async ValueTask<bool> TransformResponseAsync(HttpContext httpContext,
        HttpResponseMessage? proxyResponse,
        CancellationToken cancellationToken)
    {
        await base.TransformResponseAsync(httpContext, proxyResponse, cancellationToken);

        if (httpContext.Request.Method == "GET" &&
            httpContext.Response.Headers["Content-Type"].Any(x => x.StartsWith("text/html")))
        {
            var encoding = proxyResponse.Content.Headers.FirstOrDefault(x => x.Key == "Content-Encoding").Value;
            if (encoding?.FirstOrDefault() == "gzip")
            {
                var content = proxyResponse?.Content.ReadAsByteArrayAsync(cancellationToken).Result;
                if (content != null)
                {
                    var result = Encoding.UTF8.GetString(GZipDecompressByte(content));
                    result = result.Replace("國內(nèi)版", "Token Bing 搜索 - 國內(nèi)版");
                    proxyResponse.Content = new StringContent(GZipDecompressString(result));
                }
            }
            else if (encoding.FirstOrDefault() == "br")
            {
                var content = proxyResponse?.Content.ReadAsByteArrayAsync(cancellationToken).Result;
                if (content != null)
                {
                    var result = Encoding.UTF8.GetString(BrDecompress(content));
                    result = result.Replace("國內(nèi)版", "Token Bing 搜索 - 國內(nèi)版");
                    proxyResponse.Content = new ByteArrayContent(BrCompress(result));
                }
            }
            else
            {
                var content = proxyResponse?.Content.ReadAsStringAsync(cancellationToken).Result;
                if (content != null)
                {
                    content = content.Replace("國內(nèi)版", "Token Bing 搜索 - 國內(nèi)版");
                    proxyResponse.Content = new StringContent(content);
                }
            }
        }

        return true;
    }

    /// <summary>
    /// 解壓GZip
    /// </summary>
    /// <param name="bytes"></param>
    /// <returns></returns>
    public static byte[] GZipDecompressByte(byte[] bytes)
    {
        using var targetStream = new MemoryStream();
        using var compressStream = new MemoryStream(bytes);
        using var zipStream = new GZipStream(compressStream, CompressionMode.Decompress);
        using (var decompressionStream = new GZipStream(compressStream, CompressionMode.Decompress))
        {
            decompressionStream.CopyTo(targetStream);
        }

        return targetStream.ToArray();
    }

    /// <summary>
    /// 解壓GZip
    /// </summary>
    /// <param name="str"></param>
    /// <returns></returns>
    public static string GZipDecompressString(string str)
    {
        using var compressStream = new MemoryStream(Encoding.UTF8.GetBytes(str));
        using var zipStream = new GZipStream(compressStream, CompressionMode.Decompress);
        using var resultStream = new StreamReader(new MemoryStream(compressStream.ToArray()));
        return resultStream.ReadToEnd();
    }

    /// <summary>
    /// Br壓縮
    /// </summary>
    /// <param name="input"></param>
    /// <returns></returns>
    public static byte[] BrCompress(string str)
    {
        using var outputStream = new MemoryStream();
        using (var compressionStream = new BrotliStream(outputStream, CompressionMode.Compress))
        {
            compressionStream.Write(Encoding.UTF8.GetBytes(str));
        }

        return outputStream.ToArray();
    }

    /// <summary>
    /// Br解壓
    /// </summary>
    /// <param name="input"></param>
    /// <returns></returns>
    public static byte[] BrDecompress(byte[] input)
    {
        using (var inputStream = new MemoryStream(input))
        using (var outputStream = new MemoryStream())
        using (var decompressionStream = new BrotliStream(inputStream, CompressionMode.Decompress))
        {
            decompressionStream.CopyTo(outputStream);
            return outputStream.ToArray();
        }
    }
}

得到的效果我們將國內(nèi)版修改成了Token Bing 搜索 - 國內(nèi)版

Yarp相關(guān)資料

技術(shù)交流群：737776595

官方文檔：https://microsoft.github.io/reverse-proxy/articles/getting-started.html

來著token的分享

總結(jié)

以上是生活随笔為你收集整理的微软用它取代了`Nginx`吞吐量提升了百分之八十！的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。

上一篇：请注意，你的 Pulsar 集群可能有删
下一篇：【nginx运维基础(4)】Nginx的