一 Prometheus 入門(mén)

1.1 入門(mén)介紹

運(yùn)維體系~指標(biāo)監(jiān)控

先來(lái)一張圖，說(shuō)明一下Prometheus監(jiān)控相關(guān)的軟件和知識(shí)點(diǎn)。

1: 首先要安裝：Prometheus, 負(fù)責(zé)收集各種監(jiān)控指標(biāo)，也包括自己定監(jiān)控

2: 接著安裝Grafana全面瓦解,負(fù)責(zé)展示監(jiān)控指標(biāo)

3：接著安裝各種收集插件(導(dǎo)出器)exporter

4: 安裝告警工具 alarmManager

新增指標(biāo)步驟：

安裝配置exporter、到premetheus中進(jìn)行配置、grafana新增圖表

1.2 相關(guān)軟件、端口說(shuō)明

1.2.1 端口說(shuō)明

軟件

端口

作用

安裝形式

地位

核心

Prometheus

9090

收集器，負(fù)責(zé)收集導(dǎo)出器exportor的數(shù)據(jù)

二進(jìn)制、docker、rancher應(yīng)用商店安裝，下載地址: Prometheus.io， 有官方導(dǎo)出器，也有第三方只要按照 Prometheus的格式 暴露對(duì)應(yīng)的指標(biāo) 即可

Prometheus、alertmanager、node_exporter、mysqld_exporter 都在一個(gè)官網(wǎng)上面

配置文件持久化, prometheus.yml

Grafana

3000

展示Prometheus的數(shù)據(jù)

專(zhuān)業(yè)展示數(shù)據(jù)，數(shù)據(jù)源可以是：Prometheus，Elasticsearch、Mysql、PostgreSql、InfluxDB(時(shí)序數(shù)據(jù)庫(kù))、json自定義 等各種插件支持；可以界面配置數(shù)據(jù)源，https://grafana.com/、可視化工具Grafana：簡(jiǎn)介及安裝

專(zhuān)業(yè)展示

1.2.2 導(dǎo)出器exporter說(shuō)明

Exporter是Prometheus的一類(lèi)數(shù)據(jù)采集組件的總稱(chēng)。

它負(fù)責(zé)從目標(biāo)處搜集數(shù)據(jù)，并將其轉(zhuǎn)化為Prometheus支持的格式。

與傳統(tǒng)的數(shù)據(jù)采集組件不同的是，它并不向中央服務(wù)器發(fā)送數(shù)據(jù)，而是等待中央服務(wù)器主動(dòng)前來(lái)抓取，

默認(rèn)的抓取地址為http://CURRENT_IP:9100/metrics

導(dǎo)出器名稱(chēng)

作用

安裝方式

下載地址

安裝形式

暴露端點(diǎn)

Node exporter

類(lèi)似zabbix-agent收集服務(wù)器自身的mem、cpu、network等服務(wù)器本身的數(shù)據(jù)

prometheus官方提供、維護(hù)

官網(wǎng)直接搜索：node_exporter 、參考地址 容器監(jiān)控實(shí)踐—node-exporter

二進(jìn)制安裝、docker安裝、k8s安裝；需要在每臺(tái)主機(jī)上面都安裝

host:9100/metrics，如果服務(wù)器端口不開(kāi)發(fā)，可以映射到項(xiàng)目根路徑，eg: https://ngniot.bgysmartcity.com/metrics

-cAdvisor(Container Advisor )

收集docker容器的指標(biāo)和性能

google開(kāi)源 GO開(kāi)發(fā)

–

docker、二進(jìn)制都行

host:8080/metrics

mysql_exporter

收集數(shù)據(jù)庫(kù)的

–

docker、二進(jìn)制都行

host:9104/metrics

mongodb_exporter

收集

–

docker、二進(jìn)制都行

host:9001/metrics

1.3 簡(jiǎn)單介紹

由于安裝牽扯的軟件和導(dǎo)出器比較多，

prometheus、Grafana、alertmanager、node_exporter、mysqld_exporter 等等，

我們先使用 rancher1 應(yīng)用商店自帶的 prometheus

默認(rèn)操作，開(kāi)發(fā)3000和9090里面就可以訪(fǎng)問(wèn)了

1.3.1 Grafana 使用事項(xiàng)

默認(rèn)登錄需要密碼，沒(méi)有密碼，隨便輸入的賬號(hào)和密碼，就是初始化賬號(hào)密碼

設(shè)置數(shù)據(jù)源，默認(rèn)已經(jīng)添加了數(shù)據(jù)源 http://prometheus:9090，可以添加新的數(shù)據(jù)源，可以跨服務(wù)器

默認(rèn)不用做啥配置，就可以看到 node-exporter【服務(wù)器主機(jī)信息】、prometheus-rancher-exporter【rancher簡(jiǎn)要信息】

每個(gè)圖標(biāo)需要自定義 promSQL 來(lái)展示數(shù)據(jù)

官方有很多模板，可以導(dǎo)入

6： 上官網(wǎng)搜索自己需要的展示模板

1.3.2 prometheus 使用說(shuō)明

prometheus數(shù)據(jù)來(lái)源說(shuō)明

1：基于 http pull 方式采集， 被采集端只要 暴露http metrics 接口， prometheus主動(dòng)定時(shí)來(lái)采集

2：對(duì)于非常規(guī)數(shù)據(jù)，比如定時(shí)器的結(jié)果數(shù)據(jù)，定時(shí)來(lái)去可能取不到，這里 借助：pushGateway 收集采集數(shù)據(jù)

3：通過(guò)服務(wù)發(fā)現(xiàn)或者靜態(tài)配置發(fā)現(xiàn)目標(biāo)： 比如要監(jiān)控10個(gè)服務(wù)就可以靜態(tài)配置，如果要監(jiān)控1000個(gè)服務(wù)，就只能 把服務(wù)器注冊(cè)到 注冊(cè)中心(如：Consul)， prometheus 從注冊(cè)中心動(dòng)態(tài)取。

1.3.3 PromSQL (prometheus) 的使用

PromSQL可以類(lèi)似sql一樣對(duì)收集到的相關(guān)指標(biāo)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析和處理

#按照每臺(tái)服務(wù)器，查看最近5分鐘的cpu空率

100 - avg(irate(node_cpu_seconds_total{mode="idle"}[5m])) by (instance) * 100

#內(nèi)存使用

100 - (node_memory_MemFree_bytes + node_memory_Cached_bytes + node_memory_Buffers_bytes ) / node_memory_MemTotal_bytes * 100

#監(jiān)控磁盤(pán)占用率，如果沒(méi)有數(shù)據(jù)，可以去掉 mountpoint 參數(shù)或者修改該參數(shù)

100 - ( node_filesystem_free_bytes{mountpoint="/.r", fstype =~ "ext4|xfs"} / node_filesystem_size_bytes{mountpoint = "/.r", fstype =~ "ext4|xfs"} * 100)

1.3.4 prometheus 配置文件說(shuō)明

當(dāng)新增了 exporter 都要在 prometheus 里面進(jìn)行配置，新增配置之后service-discovery 和 targets 里面就能看到新增的保留點(diǎn)。

job： 是一一類(lèi)指標(biāo)

targets：是一類(lèi)指標(biāo)下面的多臺(tái)機(jī)器

直接使用rancher 應(yīng)用商店的 好處，prometheus 配置文件就不用關(guān)心了基本上都配置完美了

配置文件實(shí)例，可以對(duì)照http://ityun.ltd:9090/config 對(duì)著看差異

參考：Prometheus 配置文件詳解

編輯 prometheus.yml配置文件

檢查配置文件：./promtool check config promethues.yml

配置檢查沒(méi)有問(wèn)題，重載配置kill -hup 4100

重載完成，可以進(jìn)入到 prometheus管理界面查看配置和監(jiān)控?cái)?shù)據(jù)

服務(wù)發(fā)現(xiàn)，當(dāng)需要監(jiān)控的機(jī)器是動(dòng)態(tài)擴(kuò)容或者所容的時(shí)候，服務(wù)發(fā)現(xiàn)就非常有用，支持的方式有：

1.4 安裝promethues

1.4.1 二進(jìn)制安裝部署

官網(wǎng)進(jìn)行下載，prometheus download, 下載：wget https://github.com/prometheus/prometheus/releases/download/v2.20.0-rc.1/prometheus-2.20.0-rc.1.linux-386.tar.gz、解壓到**/usr/local/promethues/promethues**：tar zxvf *.gz

最好是參見(jiàn)最新的官方文檔：prometheus docs getting_started

重要的啟動(dòng)選項(xiàng)，./prometheus --help, 一個(gè)是：配置文件指定--config.file="prometheus.yml"、監(jiān)控端口--web.listen-address=" 0.0.0.0:9090"、數(shù)據(jù)存儲(chǔ)目錄 --storeage.tsdb.path=" data/"、數(shù)據(jù)存儲(chǔ)保留時(shí)間默認(rèn)15D=--storage.tsdb.retention=15d

配置為系統(tǒng)服務(wù)

#1： systemd,先copy一個(gè)模板進(jìn)行修改

cd /usr/lib/systemd/system

# 2: copy一個(gè)配置文件 service

cp sshd.service prometheus.service

# 3: 修改配置文件

[Unit]

Description=prometheus.io

After=network.target

[Service]

Restart=on-failure

ExecStart=/usr/local/prometheus/promethues/promethues --config.file=/usr/local/prometheus/promethues/promethues/promethues.yml //自已的tomcat目錄

ExecReload=/bin/kill -s HUP $MAINPID

RemainAfterExit=yes

[Install]

WantedBy=multi-user.target

#4: #在命令執(zhí)行，重新加載service配置

systemctl daemon-reload

#5 啟動(dòng)測(cè)試

systemctl start prometheus

#6 查看進(jìn)程執(zhí)行情況

ps -ef |grep prometheus

1.4.2 rancher部署

映射配置文件：/usr/local/docker_volume/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml

1.4.3 docer 部署

看官網(wǎng)文檔： prometheus installation 搜索 Using Docker

執(zhí)行docker運(yùn)行命令

#執(zhí)行啟動(dòng)命令，掛載卷地址，/usr/local/docker_volume/prometheus/prometheus.yml

docker run -d \

-p 9090:9090 \

-v /usr/local/docker_volume/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml \

-v /usr/local/docker_volume/prometheus/data:/prometheus\

prom/prometheus

二 導(dǎo)出器和可視化圖表

2.1 node exporter 服務(wù)器資源導(dǎo)出器

node導(dǎo)出器，負(fù)責(zé)導(dǎo)出 服務(wù)器自身的cpu、內(nèi)存、網(wǎng)絡(luò)、平均負(fù)載等。

使用展示模板，特別方便不用自己寫(xiě)PromSQL

1 Node Exporter for Prometheus Dashboard CN v20200628

官方Grafana模板地址:1 Node Exporter for Prometheus Dashboard CN v20200628

2.2 cadvisor 容器導(dǎo)出器

cadvisor是谷歌開(kāi)發(fā)的容器導(dǎo)出器，可以監(jiān)控容器的各項(xiàng)指標(biāo)，可以手工安裝

Grafana的顯示cadvisor數(shù)據(jù)模板

Docker and system monitoring 893 - 推薦使用

2.3 Rancher 導(dǎo)出器

我們監(jiān)聽(tīng)rancher 的指標(biāo),這個(gè) rancher promethues自身就有的exporter

導(dǎo)出器名稱(chēng)prometheus-rancher-exporter 、infinityworks/prometheus-rancher-exporter:v0.22.52

可視化模板 Rancher的 promethues數(shù)據(jù)源模板 1674

可視化模板 Ranche2 - 8721

2.4 mysql_exporter 導(dǎo)出器

mysql_exporter，下載安裝到自己需要監(jiān)控的mysql主機(jī)，

創(chuàng)建用戶(hù)授權(quán)一個(gè)賬號(hào)，具體查看github; 可以自己配置采集信息，具體查看：

./mysql_exporter --help

eg: mysql最大連接數(shù)、當(dāng)前連接數(shù)、innodb利用率、讀寫(xiě)流量、查詢(xún)速度

導(dǎo)出器 mysql_exporter 下載地址：prometheus mysqld_exporter

grafan圖表模板 mysql grafana 的 promethues數(shù)據(jù)源模板 - 7362

2.4.1 mysql_exporter詳細(xì)安裝步驟

下載 包到本機(jī) /usrl/local/promethues/exporter/mysql_exporter, 最新版本到官網(wǎng)下載，見(jiàn)：【mysql_exporter 】download

wget https://github.com/prometheus/mysqld_exporter/releases/download/v0.12.1/mysqld_exporter-0.12.1.linux-386.tar.gz，官網(wǎng)：下載特別慢，可以從第三方下載，見(jiàn)grafana-prometheus-mysqld-node_exporter.rar

解壓：tar -zxvf *.gz

查看啟動(dòng)選項(xiàng)：``

進(jìn)入mysql里面創(chuàng)建一個(gè)mysql用戶(hù)&授權(quán)，具體搜索：Required Grants在github mysqld_exporter

CREATE USER 'exporter'@'localhost' IDENTIFIED BY 'exporter123pwdxx.' WITH MAX_USER_CONNECTIONS 3; #創(chuàng)建一個(gè)新用戶(hù)，只允許localhost有權(quán)限，也可以變成%； & 限制最大連接數(shù)是3; 如果報(bào)錯(cuò)，刪除 用戶(hù)連接數(shù)限制。

GRANT PROCESS, REPLICATION CLIENT, SELECT ON *.* TO 'exporter'@'localhost'; #授權(quán)

在當(dāng)前目錄創(chuàng)建一個(gè)my.cnf文件，通過(guò)該文件，就可以每次免密使用。touch my.cnf,查看設(shè)置選項(xiàng)：./mysqld_exporter --help

[client]

user=exporter

password=exporter123pwdxx.

centos主機(jī)上面啟動(dòng)&指定配置文件：./mysqld_exporter --config.my-cnf="./my.cnf"，啟動(dòng)完成驗(yàn)證：http://localhost:9104/metrics, 后臺(tái)運(yùn)行：nohup ./mysqld_exporter --config.my-cnf="./my.cnf" &

配置完畢，我們回到promethes配置文件中進(jìn)行配置，vi prometheus.yml

如果9104端口無(wú)法對(duì)外開(kāi)放，可以進(jìn)行映射，nginx配置如下：

location /metrics { #Node exporter metrics 監(jiān)控

proxy_pass http://localhost:9104;

}

2.4.2 MySQL 監(jiān)控指標(biāo)

2.5 mongodb_exporter 導(dǎo)出器

mongodb_exporter，下載安裝到自己需要監(jiān)控的MongoDB主

這個(gè)插件手工安裝還有點(diǎn)麻煩，需要手工安裝go、安裝glide，然后才能安裝exporter。

參考，文檔非常詳細(xì)、或者直接看github：prometheus監(jiān)控mongo

使用的插件是：dcu/mongodb_exporter

使用的展示json是 2583 ：https://grafana.com/dashboards/2583

使用的dcu/mongodb_exporter 對(duì)應(yīng)的docker 鏡像是：targetprocess/mongodb_exporter

需要給指定MongoDB賬號(hào)，監(jiān)控的權(quán)限

# E0727 04:19:12.553163 1 oplog_status.go:127] Failed to get local.oplog_rs collection stats.

# E0727 04:19:42.490771 1 server_status.go:173] Failed to get server status.

# E0727 04:19:42.522262 1 replset_status.go:231] Failed to get replSet status.

# Prometheus Mongodb Exporter - Correct DB User Permissions

#When you see the error Failed to get local.oplog_rs collection stats. in your mongodb exporter logs, make sure the DB user account you use has the right permissions.

db.getSiblingDB("admin").createUser({

user: "mongodb_exporter",

pwd: "mongodb_exporter_pwd.",

roles: [

{ role: "clusterMonitor", db: "admin" },

{ role: "read", db: "local" }

]

})

docker run -d \

-p 9001:9001 \

--mongodb.uri="mongodb://iotMongoUserX:.123aB.iotMongoUserXpWD@39.198.173.142:37071" \

targetprocess/mongodb_exporter

啟動(dòng)參數(shù)：--mongodb.uri=mongodb://iotMongoUserX:.123aB.iotMongoUserXpWD@39.198.173.142:37071

如何查看啟動(dòng)參數(shù)，進(jìn)入容器內(nèi)部find / -name '*exporter*'查找安裝目錄， 執(zhí)行cd /bin , ./mongodb_exporter --help

三 告警alartmanager

前面我們講解了監(jiān)控?cái)?shù)據(jù)的可視化，但是數(shù)據(jù)量很多，指標(biāo)很多，我們不可能一直盯著屏幕。因此我們需要對(duì)數(shù)據(jù)進(jìn)行巡檢和告警處理。

告警也有一些高級(jí)使用步驟：分組、抑制、靜默等

3.1 使用步驟

安裝部署 alartmanager， 通過(guò)官網(wǎng)或者github，官網(wǎng)同：promethues

配置Promethues和alertmanager通信

在promethues中配置告警規(guī)則

在alartmanager中配置接收者

三 告警alartmanager

前面我們講解了監(jiān)控?cái)?shù)據(jù)的可視化，但是數(shù)據(jù)量很多，指標(biāo)很多，我們不可能一直盯著屏幕。因此我們需要對(duì)數(shù)據(jù)進(jìn)行巡檢和告警處理。

告警也有一些高級(jí)使用步驟：分組、抑制、靜默等

3.1 使用步驟

安裝部署 alartmanager， 通過(guò)官網(wǎng)或者github，官網(wǎng)同：promethues

配置Promethues和alertmanager通信

在promethues中配置告警規(guī)則

在alartmanager中配置接收者

3.2 配置alartmanager和premethues通信

alartmanager.yml

route 告警路由 分配 、receivers: 接收者、inhibit_rules: 抑制配置、

./amtool check-config alartmanger.yml檢查配置語(yǔ)法是否正確

總結(jié)

以上是生活随笔為你收集整理的服务器运维监控指标,运维体系~指标监控~Prometheus监控告警与日志的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。