1622219047536

寫在前面

??Api網(wǎng)關(guān)我們之前是用 .netcore寫的 Ocelot的，使用后并沒有完全達到我們的預(yù)期，花了些時間了解后覺得kong可能是個更合適的選擇。

簡單說下kong對比ocelot打動我的：

1、kong可以直接代替Nginx/OpenRestry做前端服務(wù)器。

2、kong的功能強大，性能不俗，生態(tài)不錯，操作面板，插件豐富，社區(qū)活躍；

本文目的

1、對kong和consul做個基本介紹；

2、kong集成consul 做服務(wù)發(fā)現(xiàn)；

3、Asp.net core WebApi 服務(wù)自動注冊到Consul;

4、Asp.net core WebApi 自動注冊路由規(guī)則到kong，實現(xiàn)程序啟動即部署；

運行環(huán)境

172.16.1.30 ?CentOS Linux release 7.6.1810 (Core) （虛擬機單核2g）

Docker version 18.09.3, build 774a1f4

kong apigateway(enterprise) 2.3.x (docker安裝)

kong

kong的簡介

KONG — The Microservice API Gateway | by faren | Medium

我們熟悉Nginx；

有個一個加強版的Nginx叫做OpenRestry，OpenRestry ≈ lua腳本+Nginx；

那么Kong 網(wǎng)關(guān)就是滿血版的 OpenRestry，它有許許多多的的插件和各種豐富的功能，且提供對應(yīng)的Rest Api，讓你輕松打造你所能想象到的 網(wǎng)關(guān)+ web前端服務(wù)器的功能；

特點（翻譯）

• 云原生：平臺無關(guān)，kong支持任意平臺，裸機容器或云平臺；

• k8s原生：原生支持k8s，有kong-ingress，支持l4+l7協(xié)議；

• 動態(tài)負載均衡：負載均衡到多個upstream；

• Hash-based的負載均衡：根據(jù)cookie、session，ip等hash負載均衡；

• 斷路器：自動剔除不健康的服務(wù)；

• 心跳檢測：主動和被動心跳檢測；

• 服務(wù)發(fā)現(xiàn)：通過第三方dns解析做服務(wù)發(fā)現(xiàn)，如consul;

• Serverless：調(diào)用和保護 AWS Lambda or OpenWhisk functions directly ；

• WebSockets：支持ws、wss協(xié)議；

• gRPC：支持gRPC協(xié)議，并通過日志和插件監(jiān)控流量；

• OAuth2.0：輕松添加OAuth2.0支持；

• 日志：輕松記錄請求和響應(yīng)，通過HTTP, TCP, UDP, 或 直接到硬盤；

• 安全性：訪問控制，爬蟲檢測、ip黑白名單等等；

• Syslog：記錄到系統(tǒng)日志；

• SSL: 安裝不同的SSL證書到服務(wù)；

• 監(jiān)控：實時監(jiān)控，提供關(guān)機負責負載均衡和性能指標；

• 整箱代理：kong可以作為正向代理服務(wù)器；

• 身份認證：HMAC, JWT, Basic, 各種奇奇怪怪的規(guī)則都支持.

• 限制器：流量限制功能；

• 傳輸轉(zhuǎn)換：新增、刪掉、或者修改你的請求或者響應(yīng)；

• 緩存：請求緩存；

• CLI：命令行控制支持；

• Rest Api：Rest Api控制支持；

• Geo-Replicated：夸時區(qū)請求支持；

• 故障檢測與恢復(fù)：數(shù)據(jù)庫（Cassandra /postgres)節(jié)點掛掉不影響kong的服務(wù)；

• 集群：所有kong節(jié)點都自動加入集群保持配置同步；

• 拓展性：分布式拓展原生支持，水平伸縮加減節(jié)點就行；

• 高性能：使用Nginx作為核心負載均衡組件，高性能可伸縮；

• 插件：高拓展性，插件式添加功能；

詳細請看

github：https://github.com/Kong/kong

官方文檔：https://docs.konghq.com

kong的安裝

拉取鏡像

docker?pull?kong/kong-gateway:2.3.3.2-alpine

給鏡像改個名

docker?tag?<IMAGE_ID>?kong-ee

創(chuàng)建一個網(wǎng)絡(luò)

docker?network?create?kong-ee-net

運行一個postgresSql 9.6，用來存取kong的配置

docker?run?-d?--name?kong-ee-database?\--network=kong-ee-net?\-p?5432:5432?\-e?"POSTGRES_USER=kong"?\-e?"POSTGRES_DB=kong"?\-e?"POSTGRES_PASSWORD=kong"?\postgres:9.6

啟動kong

??docker?run?-d?--name?kong-ee2--network=kong-ee-net?\-e?"KONG_DATABASE=postgres"?\-e?"KONG_PG_HOST=172.16.1.30"?\-e?"KONG_PG_PASSWORD=kong"?\-e?"KONG_PROXY_ACCESS_LOG=/dev/stdout"?\-e?"KONG_ADMIN_ACCESS_LOG=/dev/stdout"?\-e?"KONG_PROXY_ERROR_LOG=/dev/stderr"?\-e?"KONG_ADMIN_ERROR_LOG=/dev/stderr"?\-e?"KONG_ADMIN_LISTEN=0.0.0.0:8001"?\-e?"KONG_ADMIN_GUI_URL=http://172.16.1.30:8002"?\?-e?"KONG_DNS_RESOLVER=172.16.1.30:8600"?\??#注意按需使用，consul的才配-p?8000:8000?\-p?8443:8443?\-p?8001:8001?\-p?8444:8444?\-p?8002:8002?\-p?8445:8445?\-p?8003:8003?\-p?8004:8004?\kong-ee//-e?"KONG_DNS_RESOLVER=172.16.1.30:8600"?注意這個配置，這是我需要用的consul的dns配置，如果不想用consul做服務(wù)發(fā)現(xiàn)，刪掉這行

這里說明一下，kong的配置是用postgres（或者Cassandra ）來存配置，但每一次請求都不需要去讀取數(shù)據(jù)庫的。修改的配置會直接 reload 到內(nèi)存中，不影響性能；

另外說說kong的集群；

因為kong 網(wǎng)關(guān)其實最終 表現(xiàn)為一個超級前端服務(wù)器+網(wǎng)關(guān)，所以每個連接到同個數(shù)據(jù)庫的kong實例配置一樣，連接同個數(shù)據(jù)庫的kong作為一個集群；

一般在kong的前面是直接做dns解析就行,如果dns不支持多ip的話做keepalive + vip就行；

驗證

#admin?api?獲取所有服務(wù) curl?-i?-X?GET?--url?http://127.0.0.1:8001/services#admin?管理后臺? curl?-i?-X?GET?--url?http://127.0.0.1:8002 16222925304541622292862508

管理后臺

1622297057459

consul

consul簡介

Consul Service Mesh with Paul Banks - Software Engineering Daily

??Consul是HashiCorp公司推出的開源工具，用于實現(xiàn)分布式系統(tǒng)的服務(wù)發(fā)現(xiàn)與配置。與其他分布式服務(wù)注冊與發(fā)現(xiàn)的方案，比如 Airbnb的SmartStack等相比，Consul的方案更“一站式”，內(nèi)置了服務(wù)注冊與發(fā)現(xiàn)框 架、分布一致性協(xié)議實現(xiàn)、健康檢查、Key/Value存儲、多數(shù)據(jù)中心方案，不再需要依賴其他工具（比如ZooKeeper等），使用起來也較 為簡單。

其實就是做服務(wù)治理的。

github: https://github.com/hashicorp/consul

官方文檔: https://www.consul.io/

consul的安裝

直接docker安裝

*這是作為開發(fā)節(jié)點安裝

docker?run??-d?--name=dev-consul1?--network=host?-e?CONSUL_BIND_INTERFACE=eth0?consul:1.8

安裝成功

1622295177798

運行一個WebApi服務(wù)

先在服務(wù)運行一個Asp.net Core WebApi （就是是新建的一個包含），我的版本是3.1的，我給服務(wù)命名：DemoApi31，監(jiān)聽端口5002

1622294659671

將服務(wù)注冊到Consul

curl?--location?--request?PUT?'http://172.16.1.30:8500/v1/agent/service/register'?\ --header?'Content-Type:?application/json'?\ --data-raw?'{"ID":?"DemoApi31_172.16.1.30:5002","Name":?"DemoApi31","Address":?"172.18.1.30","Port":?5002,"EnableTagOverride":?false,"Weights":?{"Passing":?10,"Warning":?1} }'

注冊成功：

1622295901281

Dns解析驗證

#?如果沒安裝dig 安裝：yum install bind-utils dig?@172.16.1.30?-p?8600?Demoapi31.service.consul?SRV 1622294451840

ok，我們這里已經(jīng)把服務(wù)注冊到consul，且能通過dns常解析到了，我們做跟kong的集成吧。

consul提供內(nèi)置Dns解析和Rest Api 兩種方式集成做服務(wù)發(fā)現(xiàn)，我們這里跟kong的集成選用的Dns方式。

kong集成consul做服務(wù)發(fā)現(xiàn)

因為consul的角色是dns服務(wù)器，所以非常簡單，我們已注冊好的 DemoApi31為例：

1、創(chuàng)建一個名為consul的服務(wù)

DemoApi31.service.consul 是consu要求的格式

1622297254563

2、創(chuàng)建一個名為consul的路由

1622297366317

驗證

訪問我們配置的kong路由：http://172.16.1.30:8000/consul/api/values

1622297455784

ok

到目前為止我們只完成了本文目的1、2

3，和4三請往下看；

在Asp.net Core中的使用

??以之前的DemoApi31為例,換成5003端口，我需要達到的效果是，程序啟動的時候就把服務(wù)注冊到Consul 做好心跳檢測，并同時部署到網(wǎng)關(guān)Kong，直接對外服務(wù)。

Asp.net Core 服務(wù)自動注冊到Consul

安裝nuget包

Install-Package?Passport.Infrastructure?-Version?0.1.4.7-preview-1

加入配置appsettings.json

大家主要各服務(wù)器要改成自己的

??"ServiceDiscovery":?{"ServiceName":?"DemoApi31","Consul":?{"HttpEndpoint":?"http://172.16.1.30:8500",?"HttpHeathCheck":?{"Path":?"/healthcheck","TimeOunt":?10,"Interval":?10},"Tags":?["NetCore","DemoApi","v1.0"]}}

StartUp.cs ?ConfigureServices方法

public?void?ConfigureServices(IServiceCollection?services) {//第一行PassportConfig.InitPassportConfig(Configuration,?Environment);......services.AddHealthChecks();services.AddConsul(); }

StartUp.cs ?Configure方法

app.UseHealthChecks("/healthcheck");

啟動程序

dotnet?DemoApi.Core3.1.dll?--healthhost?172.16.1.30?--urls?http://*:5003? 16222995065671622299584100

源碼解析

///?<summary> ///?加入consul做服務(wù)管理 ///?</summary> ///?<param?name="services"></param> ///?<returns></returns> public?static?IServiceCollection?AddConsul(this?IServiceCollection?services) {var?options?=?PassportConfig.GetSection("ServiceDiscovery").Get<ServiceDiscoveryOptions>();if?(options?.Disable?!=?true){var?healthHost?=?PassportConfig.GetHealthHost();if?(string.IsNullOrWhiteSpace(options?.ServiceName)?||?string.IsNullOrWhiteSpace(options?.Consul?.HttpEndPoint)){throw?new?ArgumentNullException("ServiceDiscovery.ServiceName/Consul.HttpEndpoint?cannot?be?null?or?empty!");}//實例化kongclientvar?consulClient?=?new?ConsulClient(x?=>?x.Address?=?new?Uri(options.Consul.HttpEndPoint));services.AddSingleton(consulClient);services.Configure(new?Action<ConsulOptions>(op?=>{op.HttpEndPoint?=?options.Consul.HttpEndPoint;op.Token?=?options.Consul.Token;op.TcpEndPoint?=?options.Consul.TcpEndPoint;}));var?checkOptions?=?options.Consul.HttpHeathCheck;var?checkUrl?=?$"http://{healthHost}:{PassportConfig.GetCurrentPort()}{checkOptions.Path}";new?ConsulBuilder(consulClient).AddHttpHealthCheck(checkUrl,?checkOptions.TimeOunt,?checkOptions.Interval).RegisterService(options.ServiceName,?healthHost,?PassportConfig.GetCurrentPort(),?options.Consul.Tags).Wait();}return?services; }

ConsulBuilder.cs ?參考曉晨大佬

?public?class?ConsulBuilder{private?readonly?ConsulClient?_client;private?readonly?List<AgentServiceCheck>?_checks?=?new?List<AgentServiceCheck>();public?ConsulBuilder(ConsulClient?client){_client?=?client;}public?ConsulBuilder?AddHealthCheck(AgentServiceCheck?check){_checks.Add(check);return?this;}///?<summary>//////?</summary>///?<param?name="url"></param>///?<param?name="timeout">unit:?second</param>///?<param?name="interval">check?interval.?unit:?second</param>///?<returns></returns>public?ConsulBuilder?AddHttpHealthCheck(string?url,?int?timeout?=?10,?int?interval?=?10){_checks.Add(new?AgentServiceCheck(){DeregisterCriticalServiceAfter?=?TimeSpan.FromSeconds(timeout?*?3),Interval?=?TimeSpan.FromSeconds(interval),HTTP?=?url,Timeout?=?TimeSpan.FromSeconds(timeout)});PassportConsole.Success($"[Consul]Add?Http?Healthcheck?Success!?CheckUrl:{url}");return?this;}///?<summary>//////?</summary>///?<param?name="endpoint">GPRC?service?address.</param>///?<param?name="grpcUseTls"></param>///?<param?name="timeout">unit:?second</param>///?<param?name="interval">check?interval.?unit:?second</param>///?<returns></returns>public?ConsulBuilder?AddGRPCHealthCheck(string?endpoint,?bool?grpcUseTls?=?false,?int?timeout?=?10,?int?interval?=?10){_checks.Add(new?AgentServiceCheck(){DeregisterCriticalServiceAfter?=?TimeSpan.FromSeconds(20),Interval?=?TimeSpan.FromSeconds(interval),GRPC?=?endpoint,GRPCUseTLS?=?grpcUseTls,Timeout?=?TimeSpan.FromSeconds(timeout)});PassportConsole.Success($"[Consul]Add?GRPC?HealthCheck?Success!?Endpoint:{endpoint}");return?this;}public?async?Task?RegisterService(string?name,?string?host,?int?port,?string[]?tags){var?registration?=?new?AgentServiceRegistration(){Checks?=?_checks.ToArray(),ID?=?$"{name}_{host}:{port}",Name?=?name,Address?=?host,Port?=?port,Tags?=?tags};await?_client.Agent.ServiceRegister(registration);PassportConsole.Success($"[Consul]Register?Service?Success!?Name:{name}?ID:{registration.ID}");AppDomain.CurrentDomain.ProcessExit?+=?async?(sender,?e)?=>{PassportConsole.Information($"[Consul]?Service?Deregisting?....??ID:{registration.ID}");await?_client.Agent.ServiceDeregister(registration.ID);};}///?<summary>///?移除服務(wù)///?</summary>///?<param?name="serviceId"></param>public?async?Task?Deregister(string?serviceId){await?_client?.Agent?.ServiceDeregister(serviceId);}}

邏輯簡單，確定自己需要用的是注冊服務(wù)功能，調(diào)Consul Api 注冊，然后程序退出的時候注銷consul的服務(wù)就行；

Asp.net core WebApi 自動注冊路由規(guī)則到kong

通過Consul

安裝nuget包

#已安裝跳過 Install-Package?Passport.Infrastructure?-Version?0.1.4.7-preview-1

**加入配置appsettings.json**

guid順便去https://www.guidgen.com/ 生成一個

"Kong":?{//"Disable":?false,?//true=禁用"Host":?"http://172.16.1.30:8001","Services":?[{"Id":?"72e21af8-283f-44c4-a766-53de8bb35c21",?//guid"Name":?"service-autoapi","Retries":?5,"Protocol":?"http","Host":?"DemoApi31.service.consul",?"Port":?0,"Path":?null,"Connect_timeout":?60000,?//毫秒"Write_timeout":?60000,"Read_timeout":?60000,"Tags":?null}],"Routes":?[{"Id":?"5370e1b7-6c43-442d-9a44-23c249f958f7","Name":?"route-autoapi","Protocols":?[?"http"?],"Methods":?null,"Hosts":?null,"Paths":?[?"/autoapi"?],"Https_redirect_status_code":?307,"Regex_priority":?0,"Strip_path":?true,"Preserve_host":?false,"Tags":?null,"Service":?{"Id":?"72e21af8-283f-44c4-a766-53de8bb35c21"?//這個id跟關(guān)聯(lián)的Services的id一致}}]}

StartUp.cs ?ConfigureServices方法

public?void?ConfigureServices(IServiceCollection?services) {......services.AddConsul();services.RouteRegistToKong(); }

啟動程序

dotnet?DemoApi.Core3.1.dll?--healthhost?172.16.1.30?--urls?http://*:5003?

驗證

查看kong管理后臺：

1622301181490

訪問 http://172.16.1.30:8000/auto/api/values

1622301195836

大功告成。

不通過Consul，直接配置路由到kong

StartUp.cs ?ConfigureServices方法

public?void?ConfigureServices(IServiceCollection?services) {......//刪掉這行services.AddConsul();services.RouteRegistToKong(); }

配置變?yōu)?/strong>

"Kong":?{//"Disable":?false,?//true=禁用"Host":?"http://172.16.1.30:8001","Services":?[{"Id":?"0f86015b-b170-4ada-b045-740ae7d77ed6",?//guid"Name":?"configupapi","Retries":?5,"Protocol":?"http","Host":?"configupapi","Port":?0,"Path":?null,"Connect_timeout":?60000,?//毫秒"Write_timeout":?60000,"Read_timeout":?60000,"Tags":?null}],"Routes":?[{"Id":?"1be79a57-af87-43b0-a0a0-b7a6cc0c5ade","Name":?"configupapi","Protocols":?[?"http"?],"Methods":?null,"Hosts":?null,"Paths":?[?"/configupapi"?],"Https_redirect_status_code":?307,"Regex_priority":?0,"Strip_path":?true,"Preserve_host":?false,"Tags":?null,"Service":?{"Id":?"0f86015b-b170-4ada-b045-740ae7d77ed6"?//這個id跟Services的id一致}}],"Upstream":?{"Id":?"8efd15af-df78-422f-97a0-9072fa7e7431","Tags":?[?"exampleapi",?"v1.0"?],"Name":?"configupapi","Hash_on":?"none","Healthchecks":?{"Active":?{"Unhealthy":?{"Http_statuses":?[?429,?500,?501,?502,?503,?504,?505?],"Tcp_failures":?1,"Timeouts":?2,"Http_failures":?1,"Interval":?5},"Type":?"http","Http_path":?"/healthcheck","Timeout":?1,"Healthy":?{"Successes":?1,"Interval":?20,"Http_statuses":?[?200,?302?]},"Https_verify_certificate":?true,"Concurrency":?1},"Passive":?{"Unhealthy":?{"Http_statuses":?[?429,?500,?501,?502,?503,?504,?505?]},"Healthy":?{"Http_statuses":?[?200,?201,?302?]},"Type":?"http"}},"Hash_on_cookie_path":?"/","Hash_fallback":?"none","Slots":?10000},"Target":?{"Tags":?[?"exampleapi",?"v1.0"?],"Weight":?100}}

源碼解析

///?<summary> ///?路由注冊到kong； ///?</summary> ///?<param?name="services"></param> ///?<returns></returns> public?static?IServiceCollection?RouteRegistToKong(this?IServiceCollection?services) {if?(!PassportConfig.GetBool("Kong:Disable")){var?konghost?=?PassportConfig.Get("Kong:Host")????throw?new?ArgumentNullException("Kong:Host?cannot?be?null?or?empty!");var?options?=?new?KongClientOptions(HttpClientFactory.Create(),?konghost);var?client?=?new?KongClient(options);services.AddSingleton<KongClient>(client);var?upStream?=?PassportConfig.GetSection("Kong:Upstream").Get<UpStream>();var?target?=?PassportConfig.GetSection("Kong:Target").Get<TargetInfo>();if?(upStream?!=?null?&&?target?!=?null){upStream.Created_at?=?DateTime.Now;upStream?=?client.UpStream.UpdateOrCreate(upStream).Result;target.Target?=?$"{PassportConfig.GetHealthHost()}:{PassportConfig.GetCurrentPort()}";target.Id?=?PassportTools.GuidFromString($"{Dns.GetHostName()}{target.Target}");target.Created_at?=?DateTime.Now;target.UpStream?=?new?TargetInfo.UpStreamId?{?Id?=?upStream.Id.Value?};client.Target.Add(target).Wait();PassportConsole.Success($"[Kong]UpStream?registered:{upStream.Name}?Target:{target.Target}");//?app.UseKongHealthChecks(upStream,?onExecuter);}var?kongServices?=?PassportConfig.GetSection("Kong:Services").Get<ServiceInfo[]>();var?kongRoutes?=?PassportConfig.GetSection("Kong:Routes").Get<RouteInfo[]>();if?(kongServices?.Length?>?0?==?true){foreach?(var?item?in?kongServices){item.Updated_at?=?DateTime.Now;item.Path?=?string.IsNullOrWhiteSpace(item.Path)???null?:?item.Path;client.Service.UpdateOrCreate(item).Wait();PassportConsole.Success($"[Kong]Service?registered:{item.Name}");}}if?(kongRoutes?.Length?>?0?==?true){foreach?(var?item?in?kongRoutes){item.Updated_at?=?DateTime.Now;client.Route.UpdateOrCreate(item).Wait();PassportConsole.Success($"[Kong]Route?registered:{item.Name}");}}}return?services; }

??邏輯也簡單，也是調(diào)用kong配置把本該手工配置的路由，分別調(diào)用upstream、service、route Api修改配置。有區(qū)別的是程序退出時不會去刪對應(yīng)的路由；

總結(jié)

??我在各技術(shù)博客都沒有看到總結(jié)的比較好的kong+consul+asp.net core的集成文章，特此總結(jié)。期待您的點贊留意；

[參考]

https://docs.konghq.com/

https://www.cnblogs.com/stulzq/p/11942691.html

https://github.com/lianggx/Kong.Net

https://www.consul.io/docs

文章博客園地址請點擊“閱讀原文”

總結(jié)

以上是生活随笔為你收集整理的Api网关Kong集成Consul做服务发现及在Asp.Net Core中的使用的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。