前言

很多次去面試，有經驗的面試官都會問一個問題，你是怎么去定位日常遇到的問題？平常跟同行分享自己遇到的問題，事后他會問我，這種看起來毫無頭緒的問題，你是怎么去定位解決的？

其實我們平常不知道怎么問題出在哪，主要是所了解的信息量不足，那么怎么才能提高給咱們定位問題的信息量呢？其實上面兩個問題的答案都是同一個：日志、指標、跟蹤。

有日志記錄才能清楚知道當前系統的運行狀況和具體問題；指標是給與后續做優化和定位偶發性問題的一些參考，沒指標參考就沒標準；我們平常做得多的調試、查看調用棧也是跟蹤的一種，但是在分布式時代，更多考量的是跨進程通信的調用鏈路。

日志、指標、跟蹤三者結合起來有一種統稱——可觀測性

運維是架構的地基，我第一次看到這句是在張輝清寫的《小團隊構建大網站：中小研發團隊架構實踐》，說實話，我非常的認同。不少小團隊的運維都是由開發兼職的，而團隊的運維能力決定了日后架構選型與日常維護。有良好的運維監控體系，就有足夠的信息量提供給開發人員進行定位排錯。

可觀測性

可觀測性的意思是可以由系統的外部輸出推斷其內部狀態的程度，在軟件系統中，可觀察性是指能夠收集有關程序執行、模塊內部狀態以及組件之間通信的數據。分別由三個方向組成：日志（logging）、跟蹤（?tracing）、指標（Metrics）《Metrics, tracing, and logging》

日志（logging）

日志的定義特征是它記錄離散事件，目的是通過這些記錄后分析出程序的行為。

例如：應用程序調試或錯誤消息通過轉換文件描述，通過 syslog 發送到 Elasticsearch；審計跟蹤事件通過 Kafka 推送到 BigTable 等數據存儲；或從服務調用中提取并發送到錯誤跟蹤服務（如 NewRelic）的特定于請求的元數據。

跟蹤（?tracing）

跟蹤的定義特征是它處理請求范圍內的信息，目的是排查故障。

在系統中執行的單個事務對象生命周期里，所綁定的數據或元數據。例如：RPC遠程服務調用的持續時間；請求到數據庫的實際 SQL 查詢語句；HTTP 請求入站的關聯 ID。

指標（Metrics）

指標的定義特征是它們是可聚合的，目的是監控和預警。

這些指標在一段時間內，能組成單個邏輯儀表、計數器或直方圖。例如：隊列的當前長度可以被建模為一個量規；HTTP 請求的數量可以建模為一個計數器，更新后通過簡單的加法聚合計算；并且可以將觀察到的請求持續時間建模為直方圖，更新匯總到某個時間段中并建立統計摘要。

代表性產品

日志（logging）基本上是ELK (ElasticSearch, Logstash, Kibana) 技術棧一家獨大了，但是Logstash比較重量級的，而輕量級的Filebeat可能更加受大家的青睞。下文里的實戰部分，我是以EFK(ElasticSearch, Filebeat, Kibana)演示。

跟蹤（ tracing）相比于日志就是百花齊放了，Skywalking、zipkin、鷹眼、jeager、Datadog等等……但是在.Net的技術棧里，能提供出SDK的相對會少，所以選擇也會少一些，我在之前的實戰和下文的演示都是用Skywalking，主要優勢無侵入。

指標（Metrics）在云生時代Prometheus比Zabbix更加受大家歡迎，同時Prometheus社區活躍度也占非常大的優勢。下文實戰部分我以Prometheus 作為演示。

ElasticSearch部署與安裝

后面的Skywaking和日志都需要用到ElasticSearch，所以我把部署流程優先提了出來。

導入 GPG key

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

添加源

vim /etc/yum.repos.d/elasticsearch.repo[elasticsearch] name=Elasticsearch repository for 7.x packages baseurl=https://artifacts.elastic.co/packages/7.x/yum gpgcheck=1 gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch enabled=0 autorefresh=1 type=rpm-md

重新加載

yum makecache

安裝

sudo yum install -y --enablerepo=elasticsearch elasticsearch

修改配置

vim /etc/elasticsearch/elasticsearch.ymlnetwork.host: 0.0.0.0discovery.type: single-node

啟動

/sbin/chkconfig --add elasticsearchsudo -i service elasticsearch start systemctl enable elasticsearch.service

用瀏覽器訪問，能出現下圖就是可以了

Prometheus與Grafana實現指標

架構簡析

核心組件

Prometheus server

Prometheus的主程序，本身也是一個時序數據庫，它來負責整個監控集群的數據拉取、處理、計算和存儲，是使用pull方式由服務端主動拉取監控數據。

Alertmanager

Prometheus的告警組件，負責整個集群的告警發送、分組、調度、警告抑制等功能。?需要知道的是alertmanager本身是不做告警規則計算的，簡單來說就是，alertmanager不去計算當前的監控取值是否達到我設定的閾值，上面已經提過該部分規則計算是prometheus server來計算的，alertmanager監聽prometheus server發來的消息，然后在結合自己的配置，比如等待周期，重復發送告警時間，路由匹配等配置項，然后把接收到的消息發送到指定的接收者。同時他還支持多種告警接收方式，常見的如郵件、企業微信、釘釘等。1.3

Pushgateway

Pushgateway 它是prometheus的一個中間網管組件，類似于zabbix的zabbix-proxy。它主要解決的問題是一些不支持pull方式獲取數據的場景，比如：自定義shell腳本來監控服務的健康狀態，這個就沒辦法直接讓prometheus來拉數據，這時就可以借助pushgateway，它是支持推送數據的，我們可以把對應的數據按照prometheus的格式推送到pushgateway，然后配置prometheus server拉取pushgateway即可。

UI?

Grafana、prometheus-ui是用來圖形化展示數據的組件，其中prometheus-ui是prometheus項目原生的ui界面，但是在數據展示方面不太好用，因此推薦grafana來展示你的數據，grafana支持prometheus的PromQL語法，能夠和prometheus數據庫交互，加上grafana強大的ui功能，我們可以很輕松的獲取到很多好看的界面，同時也有很多做好的模版可以使用。

Prometheus Target

采集指標的API，有不同的Exporter，如果redis、mysql、server nodel提供給Prometheus server定時pull數據到數據庫。

安裝Prometheus

mkdir /var/prometheus docker run -d --name=prometheus -p 9090:9090 prom/prometheus docker cp prometheus:/etc/prometheus/prometheus.yml /var/prometheus/刪除之前的容器docker run -d --name=prometheus -p 9090:9090 -v /var/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml prom/prometheus

到瀏覽器輸入地址訪問，出現以下頁面則成功

?

安裝Grafana

docker run -d --name=grafana -p 3000:3000 grafana/grafana

安裝完成后，使用admin/admin登錄

安裝Node Exporter

docker run -d -p 9100:9100 \-v "/proc:/host/proc:ro" \-v "/sys:/host/sys:ro" \-v "/:/rootfs:ro" \--net="host" \--restart always \prom/node-exporter

到瀏覽器輸入地址訪問（http://192.168.184.129:9100/metrics），出現以下頁面則成功

配置Prometheus

vim /var/prometheus/prometheus.yml

添加以下配置 （注意格式）

??-?job_name:?service-a

????static_configs:

??????-?targets:?["192.168.88.138:9100"]

????????labels:

??????????instance:?node

??-?job_name:?service-b

????static_configs:

??????-?targets:?["192.168.88.146:9100"]

????????labels:

??????????instance:?node

??-?job_name:?service-c

????static_configs:

??????-?targets:?["192.168.88.144:9100"]

????????labels:

??????????instance:?node

重新啟動Prometheus，打開瀏覽器可以見下圖

配置Grafana

添加數據源

導入模板，其他模板可以到?https://grafana.com/grafana/dashboards 查看

?確認后則生成（注意修改主機名）

?

到這里完整的一次監控就完成，我們可以根據上訴的步驟添加容器和docker的監控。

使用Docker Exporter監控容器

用docker進行安裝

docker run --name docker_exporter --detach --restart always --volume "/var/run/docker.sock":"/var/run/docker.sock" --publish 9417:9417 prometheusnet/docker_exporter

在Prometheus進行配置，添加下面配置項

vim /var/prometheus/prometheus.yml- job_name: "container"static_configs:- targets: ["192.168.88.138:9417"]

在grafana根據上面node-exporter的步驟進行導入對應的模板 https://grafana.com/grafana/dashboards/11467

使用docker metrics 監控docker

開啟metrics

vim /etc/docker/daemon.json{"metrics-addr" : "192.168.88.146:9323","experimental" : true }

重啟docker

systemctl daemon-reload service docker restart

配置Prometheus

- job_name: "docker"static_configs:- targets: ["192.168.88.138:9323", "192.168.88.146:9323", "192.168.88.146:9323"]

導入模板https://grafana.com/grafana/dashboards/1229

SkyWalking實現跟蹤

架構簡析

核心組件

Skywalking OAP Server

Skywalking收集器，接受寫入請求與UI數據查詢。

Skywalking UI

有調用鏈路記錄、網絡拓撲圖、性能指標展示等。

Skywalking客戶端代理

提供了多種語言的SDK（Java, .NET Core, NodeJS, PHP,? Python等），在應用程序進行網絡請求的時候進行埋點攔截，整理成需要的指標發送到Skywalking OAP Server,

安裝SkyWalking的收集器

docker run --name skywalking-oap-server -p 12800:12800 -p 11800:11800 -p 1234:1234 --restart always -d -e SW_STORAGE=elasticsearch7 -e SW_STORAGE_ES_CLUSTER_NODES=192.168.184.129:9200 apache/skywalking-oap-server:8.4.0-es7

啟動成功后去ES查看，多了很多的Index

安裝SkyWalking UI

docker run --name skywalking-ui -p 8888:8080 --restart always -d -e SW_OAP_ADDRESS=192.168.184.129:12800 apache/skywalking-ui:8.4.0

使用時注意調整右下角的時區

?我們到Github下載源碼?https://github.com/SkyAPM/SkyAPM-dotnet，根據how-to-build文檔進行編譯

- Prepare git and .NET Core SDK. - `git clone https://github.com/SkyAPM/SkyAPM-dotnet.git` - `cd SkyAPM-dotnet/` - Switch to the tag by using `git checkout [tagname]` (Optional, switch if want to build a release from source codes) - `git submodule init` - `git submodule update` - Run `dotnet restore` - Run `dotnet build src/SkyApm.Transport.Grpc.Protocol` - Run `dotnet build skyapm-dotnet.sln`

啟動SkyApm.Sample.Frontend與SkyApm.Sample.Backend兩個項目，瀏覽器訪問http://localhost:5001/api/values/postin ，就可以見到下面的調用鏈了。

我在19年的時候使用0.9版本，http.request_body和http.response_body都是沒記錄需要自己擴展，而現在最新版已經有記錄，省了不少的事。

EFK（ElasticSearch+Filebeat+Kibana）實現日志

安裝Nginx

主要用來測試的

添加源

rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm

安裝

yum install -y nginx

修改配置

vim /etc/nginx/nginx.conf

把圈起來的配置改動一下

log_format json '{"@timestamp":"$time_iso8601",''"host": "$server_addr",''"clientip": "$remote_addr",''"request_body": "$request_body",''"responsetime": $request_time,''"upstreamtime": "$upstream_response_time",''"upstreamhost": "$upstream_addr",''"http_host": "$host",''"url": "$uri",''"referer": "$http_referer",''"agent": "$http_user_agent",''"status": "$status"}';access_log /var/log/nginx/access.log json;

開機啟動

systemctl start nginx.service systemctl enable nginx.service

用瀏覽器訪問，刷新幾次，執行cat /var/log/nginx/access.log 就可以看到json格式的日志了

安裝Filebeat

導入安裝源

sudo rpm --import https://packages.elastic.co/GPG-KEY-elasticsearchvim /etc/yum.repos.d/elastic.repo

保存下面文案

[elastic-7.x] name=Elastic repository for 7.x packages baseurl=https://artifacts.elastic.co/packages/7.x/yum gpgcheck=1 gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch enabled=1 autorefresh=1 type=rpm-md

執行安裝指令

yum install -y filebeat

添加配置

vim /etc/filebeat/filebeat.yml

filebeat.inputs: ??-?type: log ????enabled:?true ????paths: ??????-?/var/log/nginx/access.log ????json.key_under_root:?true ????json.overwrite_keys:?true ????json.message_key: log ????tags: ["nginx-access"] ??-?type: log ????enabled:?true ????paths: ??????-?/var/log/nginx/error.log ????json.key_under_root:?true ????json.overwrite_keys:?true ????json.message_key: log ????tags: ["nginx-error"] filebeat.config.modules: ??path: ${path.config}/modules.d/*.yml ??reload.enabled:?false setup.ilm.enabled:?false setup.template: ??name:?"nginx" ??pattern:?"nginx-*" setup.template.overwrite:?true setup.template.enabled:?false output.elasticsearch: ??hosts: ["192.168.184.129:9200"] ??indices: ????- index:?"nginx-access-%{+yyyy.MM.dd}" ??????when.contains: ????????tags:?"nginx-access" ????- index:?"nginx-error-%{+yyyy.MM.dd}" ??????when.contains: ????????tags:?"nginx-error"

啟動

systemctl start filebeat systemctl enable filebeat

?安裝kibana

docker run --name kibana -d -p 5601:5601 kibana:7.7.0mkdir /var/kibana docker cp kibana:/usr/share/kibana/config /var/kibana/config

刪除之前的容器再安裝一次

docker run --name kibana -d -v /var/kibana/config:/usr/share/kibana/config -p 5601:5601 kibana:7.7.0

修改配置后，重啟容器

vim /var/kibana/config/kibana.yml

?打開瀏覽器訪問

創建索引，填寫nginx-access-*

最后的展示UI

.Net的日志同樣可以使用Json保存，然后通過Filebeat進行采集。

總結

以上是生活随笔為你收集整理的.Net微服务实战之可观测性的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。