如何在alertmanager報警中添加企業(yè)微信監(jiān)控報警

發(fā)布時間：2020-06-17 15:19:06

來源：億速云

閱讀：535

作者：元一

欄目：云計算

Prometheus機器：172.27.143.155

alertmanager機器：172.27.143.150

Prometheus 告警分為兩部分。Prometheus 服務器中的告警規(guī)則會向Alertmanager發(fā)送告警。

然后，Alertmanager 處理這些告警信息，包括沉默，禁止，聚合和發(fā)送到電子郵件、PagerDuty和HipChat等。

設置告警和通知的主要步驟是：

設置并配置Alertmanager

配置Prometheus和Alertmanager通信

在Prometheus中創(chuàng)建告警規(guī)則

Alertmanager處理客戶端應用程序(如Prometheus服務器)發(fā)送的警報。

它負責重復數據刪除，分組并將它們路由到正確的接收方集成，例如電子郵件，PagerDuty或OpsGenie。 它還處理警報的沉默和抑制。

一、上面配置了Prometheus和grafana服務在155機器上面

接下來配置 alermanager服務

1、wget https://github.com/prometheus/alertmanager/releases/download/v0.20.0/alertmanager-0.20.0.linux-amd64.tar.gz

2、tar zxf alertmanager-0.20.0.linux-amd64.tar.gz

3、mv alertmanager-0.20.0.linux-amd64 /usr/local/alertmanager

4、vim alertmanager.yml

5、vim /etc/alertmanager/template/wechat.tmpl

{{ define "wechat.default.message" }}

{{ range $i, $alert :=.Alerts }}

========監(jiān)控報警==========

告警狀態(tài)：{{ ? .Status }}

告警級別：{{ $alert.Labels.severity }}

告警類型：{{ $alert.Labels.alertname }}

告警應用：{{ $alert.Annotations.summary }}

告警主機：{{ $alert.Labels.instance }}

告警詳情：{{ $alert.Annotations.description }}

觸發(fā)閥值：{{ $alert.Annotations.value }}

告警時間：{{ $alert.StartsAt.Format "2006-01-02 15:04:05" }}

========end==========

{{ end }}

{{ end }}

6、完成之后啟動服務

nohup ./alertmanager &

接下來配置Prometheus服務

修改配置文件

需要創(chuàng)建一個 rules目錄

里面又2個文件，一個時主機監(jiān)控，一個時容器監(jiān)控

1)cat host_sys.yml

groups:name: Host

rules:alert: Memory Usage

expr: (node_memory_MemTotal_bytes - (node_memory_MemFree_bytes + node_memory_Buffers_bytes + node_memory_Cached_bytes)) / node_memory_MemTotal_bytes * 100 > 2

for: 1m

labels:

name: Memory

severity: Warning

annotations:

summary: " {{ $labels.appname }} "

description: "宿主機內存使用率超過80%."

value: "{{ $value }}"

alert: CPU Usage

expr: sum(avg without (cpu)(irate(node_cpu_seconds_total{mode!='idle'}[5m]))) by (instance,appname) > 0.05

for: 1m

labels:

name: CPU

severity: Warning

annotations:

summary: " {{ $labels.appname }} "

description: "宿主機CPU使用率超過65%."

value: "{{ $value }}"

alert: HostLoad

expr: node_load5 > 4

for: 1m

labels:

name: Load

severity: Warning

annotations:

summary: "{{ $labels.appname }} "

description: " 主機負載5分鐘超過4."

value: "{{ $value }}"

alert: Filesystem Usage

expr: 1-(node_filesystem_free_bytes / node_filesystem_size_bytes) > ?0.3

for: 1m

labels:

name: Disk

severity: Warning

annotations:

summary: " {{ $labels.appname }} "

description: " 宿主機 [ {{ $labels.mountpoint }} ]分區(qū)使用超過80%."

value: "{{ $value }}%"

alert: Diskio writes

expr: irate(node_disk_writes_completed_total{job=~"Host"}[1m]) > 50

for: 1m

labels:

name: Diskio

severity: Warning

annotations:

summary: " {{ $labels.appname }} "

description: " 宿主機 [{{ $labels.device }}]磁盤1分鐘平均寫入IO負載較高."

value: "{{ $value }}iops"

alert: Diskio reads

expr: irate(node_disk_reads_completed_total{job=~"Host"}[1m]) > 5

for: 1m

labels:

name: Diskio

severity: Warning

annotations:

summary: " {{ $labels.appname }} "

description: " 宿主機 [{{ $labels.device }}]磁盤1分鐘平均讀取IO負載較高."

value: "{{ $value }}iops"

alert: Network_receive

expr: irate(node_network_receive_bytes_total{device!~"lo|bond[0-9]|cbr[0-9]|veth.|virbr.|ovs-system"}[5m]) / 1048576 ?> 5

for: 1m

labels:

name: Network_receive

severity: Warning

annotations:

summary: " {{ $labels.appname }} "

description: " 宿主機 [{{ $labels.device }}] 網卡5分鐘平均接收流量超過5Mbps."

value: "{{ $value }}Mbps"

alert: Network_transmit

expr: irate(node_network_transmit_bytes_total{device!~"lo|bond[0-9]|cbr[0-9]|veth.|virbr.|ovs-system"}[5m]) / 1048576 ?> 5

for: 1m

labels:

name: Network_transmit

severity: Warning

annotations:

summary: " {{ $labels.appname }} "

description: " 宿主機 [{{ $labels.device }}] 網卡5分鐘內平均發(fā)送流量超過5Mbps."

value: "{{ $value }}Mbps"

2) cat container_sys.yml

groups:name: Container

rules:alert: CPU Usage

expr: (sum by(name,instance) (rate(container_cpu_usage_seconds_total{image!=""}[5m]))*100) > 80

for: 1m

labels:

name: CPU

severity: Warning

annotations:

summary: "{{ $labels.name }} "

description: " 容器CPU使用超過80%"

value: "{{ $value }}%"

alert: Memory Usage

expr: (container_memory_usage_bytes{name=~".+"} - container_memory_cache{name=~".+"}) ?/ container_spec_memory_limit_bytes{name=~".+"} ? * 100 > 80

for: 1m

labels:

name: Memory

severity: Warning

annotations:

summary: "{{ $labels.name }} "

description: " 容器內存使用超過80%."

value: "{{ $value }}%"

alert: Network_receive

expr: irate(container_network_receive_bytes_total{name=~".+",interface=~"eth.+"}[5m]) / 1048576 ?> 5

for: 1m

labels:

name: Network_receive

severity: Warning

annotations:

summary: "{{ $labels.name }} "

description: "容器 [{{ $labels.device }}] 網卡5分鐘平均接收流量超過5Mbps."

value: "{{ $value }}Mbps"

alert: Network_transmit

expr: irate(container_network_transmit_bytes_total{name=~".+",interface=~"eth.+"}[5m]) / 1048576 ?> 5

for: 1m

labels:

name: Network_transmit

severity: Warning

annotations:

summary: "{{ $labels.name }} "

description: "容器 [{{ $labels.device }}] 網卡5分鐘平均發(fā)送流量超過5Mbps."

value: "{{ $value }}Mbps"

配置完成之后重啟一下Prometheus服務

等一會驗證效果

恢復是下面這個

監(jiān)控容器就完成了

總結

以上是生活随笔為你收集整理的企业微信监控服务器数据接入,如何在alertmanager报警中添加企业微信监控报警的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。