Alertmanager 搭配企业微信告警，企业微信无数据

原创 已于 2022-07-20 13:14:50 修改 · 2.8k 阅读 · 11 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#微信 #linux #运维 #python #proteus
于 2022-07-20 13:05:53 首次发布

Prometheus的rule规则

Alertmanager是搭配Prometheus使用的，需要在Prometheus中配置rule告警文件，告警的规则如下

[root@localhost local]# cat prometheus-2.31.1/rules/node_alerts.yml 
groups:
- name: 主机状态-监控告警
  rules:
  - alert: 主机状态
    expr: up {job="kubernetes-nodes"} == 0
    for: 15s
    labels:
      status: 非常严重
    annotations:
      summary: "{{.instance}}:服务器宕机"
      description: "{{.instance}}:服务器延时超过15s"

  - alert: CPU使用情况
    expr: 100-(avg(irate(node_cpu_seconds_total{mode="idle"}[5m])) by(instance)* 100) > 60
    for: 1m
    labels:
      status: warning
    annotations:
      summary: "{{$labels.instance}}: High CPU Usage Detected"
      description: "{{$labels.instance}}: CPU usage is {{$value}}, above 60%"

  - alert: NodeFilesystemUsage
    expr: 100 - (node_filesystem_free_bytes{fstype=~"ext4|xfs"} / node_filesystem_size_bytes{fstype=~"ext4|xfs"} * 100) > 80
    for: 1m
    labels:
      severity: warning
    annotations:
      summary: "Instance {{ $labels.instance }} : {{ $labels.mountpoint }} 分区使用率过高"
      description: "{{ $labels.instance }}: {{ $labels.mountpoint }} 分区使用大于80% (当前值: {{ $value }})"

  - alert: 内存使用
    expr: (node_memory_MemTotal_bytes - node_memory_MemAvailable_bytes) / node_memory_MemTotal_bytes * 100 > 80
    for: 1m
    labels:
      status: 严重告警
    annotations:
      summary: "{{ $labels.instance}} 内存使用率过高！"
      description: "{{ $labels.instance }} 内存使用大于80%(目前使用:{{ $value}}%)"


  - alert: IO性能
    expr: (avg(irate(node_disk_io_time_seconds_total[1m])) by(instance)* 100) > 60
    for: 1m
    labels:
      status: 严重告警
    annotations:
      summary: "{{$labels.instance}} 流入磁盘IO使用率过高！"
      description: "{{ $labels.instance }} 流入磁盘IO大于60%(目前使用:{{ $value }})"


  - alert: 网络
    expr: ((sum(rate (node_network_receive_bytes_total{device!~'tap.*|veth.*|br.*|docker.*|virbr*|lo*'}[5m])) by (instance)) / 100) > 102400
    for: 1m
    labels:
      status: 严重告警
    annotations:
      summary: "{{ $labels.instance}} 流入网络带宽过高！"
      description: "{{ $labels.instance }}流入网络带宽持续2分钟高于100M. RX带宽使用率{{ $value }}"
  - alert: TCP会话
    expr: node_netstat_Tcp_CurrEstab > 1000
    for: 1m
    labels:
      status: 严重告警
    annotations:
      summary: "{{ $labels.instance }} TCP_ESTABLISHED过高！"
      description: "{{ $labels.instance }} TCP_ESTABLISHED大于1000%(目前使用:{{ $value }}%)"

Alertmanager的安装配置

  1. 安装
wget https://github.com/prometheus/alertmanager/releases/download/v0.22.2/alertmanager-0.22.2.linux-amd64.tar.gz

tar -xxvf 解压缩
2. 设置系统启动（centos7）

[root@localhost local]# cat /usr/lib/systemd/system/alertmanager.service 

[Unit]
Description=https://prometheus.io
  
[Service]
Restart=on-failure
ExecStart=/usr/local/alertmanager/alertmanager --config.file=/usr/local/alertmanager/alertmanager.yml --storage.path="/usr/local/alertmanager/data/"   --data.retention=120h
 
[Install]                      
WantedBy=multi-user.target

注意自己的解压包地址，创建上述的文件
完成之后systemctl daemon-reload
systemctl enable alertmanager
systemctl start alertmanager

  1. alertmanager的配置文件
    在alertmanager文件夹下的alertmanager.yml
global:
  resolve_timeout: 5m
  wechat_api_url: 'https://qyapi.weixin.qq.com/cgi-bin/'
templates:     #告警模板
  - './template/wechat.tmpl'

route:  # 设置报警分发策略
  group_by: ['alertname'] # 分组标签
  group_wait: 10s      # 告警等待时间。告警产生后等待10s，如果有同组告警一起发出
  group_interval: 10s  # 两组告警的间隔时间
  repeat_interval: 1m  # 重复告警的间隔时间，减少相同右键的发送频率 此处为测试设置为1分钟 
  receiver: 'wechat'  # 默认接收者

receivers:
  - name: 'wechat'
    wechat_configs:
      - send_resolved: true
        agent_id: ''     # 自建应用的agentId
        to_party: ''  # 接收告警消息的人员Id
        api_secret: '' # 自建应用的secret
        corp_id: ''  # 企业ID

改完上述的配置文件重新加载配置文件

[root@localhost local]# cat alertmanager/reload.sh 
curl -XPOST http://localhost:9093/-/reload
  1. 然后登陆localhost:9093查看，是否有告警

如下图
在这里插入图片描述

查看配置的告警信息是否有显示，如果没有显示自行去翻看哪里配置错误了。

查看alertmanager的配置文件命令

[root@localhost alertmanager]# ./amtool check-config alertmanager.yml
Checking 'alertmanager.yml'  SUCCESS
Found:
 - global config
 - route
 - 0 inhibit rules
 - 1 receivers
 - 1 templates
  SUCCESS

  1. 然后神奇的一幕来了，无论怎么调整企业微信都没有消息显示。。。。
    这就让我用尽了各种方法都查不出来原因，还给各个大佬留言询问，也没有结果，直到我想到了用Python脚本测试一下是不是微信那边服务器设置的原因。
    毕竟，我这边能ping通微信程序url的域名，以及我这边没有做任何的网络限制。

  2. Python脚本测试微信应用发送
    脚本内容如下：

[root@localhost local]# cat test.py 
#!/usr/bin/env python
#coding=utf_8
#!/root/.virtualenvs/wechat/bin/python
# usage: send message via wechat

import requests, sys, json
import urllib3
urllib3.disable_warnings()


###填写参数###

# Corpid是企业号的标识

Corpid = ""


# Secret是管理组凭证密钥

Secret = ""

  

# 应用ID

Agentid = ""

  

# token_config文件放置路径

Token_config = r'/usr/local/test__wechat_config.json'

  

###下面的代码都不需要动###



def GetTokenFromServer(Corpid, Secret):

    """获取access_token"""

    Url = "https://qyapi.weixin.qq.com/cgi-bin/gettoken"

    Data = {

        "corpid": Corpid,

        "corpsecret": Secret

    }

    r = requests.get(url=Url, params=Data, verify=False)

    print(r.json())

    if r.json()['errcode'] != 0:

        return False

    else:

        Token = r.json()['access_token']

        file = open(Token_config, 'w')

        file.write(r.text)

        file.close()

        return Token

  

  

def SendMessage(Partyid, Subject, Content):

    """发送消息"""

    # 获取token信息

    try:

        file = open(Token_config, 'r')

        Token = json.load(file)['access_token']

        file.close()

    except:

        Token = GetTokenFromServer(Corpid, Secret)

  

    # 发送消息

#    Url = "https://qyapi.weixin.qq.com/cgi-bin/message/send?access_token=%s" % Token
    Url = "https://qyapi.weixin.qq.com/cgi-bin/message/send?access_token=ACCESS_TOKEN" 

    Data = {

        "toparty": Partyid,

        "msgtype": "text",

        "agentid": Agentid,

        "text": {"content": Subject + '\n' + Content},

        "safe": "0"

    }

    r = requests.post(url=Url, data=json.dumps(Data), verify=False)

  

    # 如果发送失败，将重试三次

    n = 1

    while r.json()['errcode'] != 0 and n < 4:

        n = n + 1

        Token = GetTokenFromServer(Corpid, Secret)

        if Token:

            Url = "https://qyapi.weixin.qq.com/cgi-bin/message/send?access_token=%s" % Token

            r = requests.post(url=Url, data=json.dumps(Data), verify=False)

            print(r.json())

  

    return r.json()


if __name__ == '__main__':

    # 部门id

    Partyid = ''

    # 消息标题

    Subject = '自应用程序代码测试'

    # 消息内容

    Content = 'str(sys.argv[3])'

    Status = SendMessage(Partyid, Subject, Content)

    print(Status)

环境是Python2.7，需要下载工具，按照提示pip下载即可。

下载pip

wget https://bootstrap.pypa.io/pip/2.7/get-pip.py
python2 get-pip.py

然后运行该脚本就会发现，报错了！！！！！

{u’errcode’: 60020, u’errmsg’: u’not allow to access from your iprom ip: x.x.x.x, more info at https://open.work.weixin.qq.com/devtool/query?e=60020’}

搜索报错的代码60020发现，原来是我的IP地址没有加入到服务器接收信息的白名单里面，所以微信端是收不到我的服务器发送的消息的。
而想加入白名单，需要成为企业微信的后台服务商。。。。。
官网：企业微信服务商后台登陆

这这这，尴尬啊，还有就是在企微应用管理界面坐下面的左下角添加IP。
在这里插入图片描述

附微信开发者中心的应用参数网页地址：企业微信开发者中心

参考

callmeconquer
关注
【Alertmanager】alertmanager告警多种通知方式--企业微信告警、钉钉告警、电话和短信告警
景天科技苑
02-21 7万+
本章讲述alertmanager如何实现企业微信告警，钉钉告警，电话短信告警通知，每一步都清晰明了。非常适用于企业生产环境告警通知的实施。
alertmanager 基于webhook-adapter插件实现企业微信机器人提醒服务
极致，细节
12-02 6907
【代码】alertmanager 企业微信机器人提醒服务。
Docker安装Prometheus+Grafana+Alertmanager实现企业微信告警监控
热门推荐
DZP_dream的博客
10-19 19万+
一、简介 二、启动node-exporter docker run -d -p 9100:9100 --name node-exporter\ -v "/proc:/host/proc:ro" \ -v "/sys:/host/sys:ro" \ -v "/:/rootfs:ro" \ --net="host" \ prom/node-exporter 访问:http://192.168.220.76:9100/metrics 三、启动prometheus 1、...
Golang实战：5步搞定Alertmanager Webhook告警转发到企业微信（附完整代码）
weixin_28309571的博客
03-25 267
本文详细介绍了如何使用Golang构建Alertmanager Webhook告警转发系统，将Prometheus告警无缝对接企业微信。通过5个实战步骤，涵盖环境配置、核心代码解析、消息模板设计、生产部署方案及性能优化，帮助开发者快速实现企业级告警通知系统，提升故障响应效率。
【prometheus+alertmanager+qq邮箱、企业微信、飞书告警管理】
qq_44637753的博客
09-06 7593
prometheus + alertmanager 告警管理
【zabbix】企业微信告警
AnRanGeSi的博客
08-25 5440
本篇基于我的前两章环境续写：1、【zabbix】docker安装zabbix、yum安装zabbix-agent2、【zabbix】MySQL模板创建与监控。
AlertManager实现企业微信报警
11
04-04 4063
ALertManager支持的报警方式有邮件报警、钉钉报警、微信报警，本次将实现企业微信报警。将我们写的告警规则的阈值调小即可触发告警，将阈值改为10。由于我们有3台node节点，因此都会发到同一条告警消息中。告警状态为resolved表示问题已解决已经恢复正常。告警状态为resolved表示问题已解决已经恢复正常。告警状态为firing表示问题发生，且没有处理。FIRING状态表示问题发生且已经发送告警。在我的企业—最下面就会有企业id。告警消息极其丰富，特别详细。告警消息极其丰富，特别详细。
Promethues之AlertManager 配置企业微信告警
weixin_41299062的博客
10-20 3247
Alertmanager 企业微信告警详细配置
AlertManager的使用（邮件和微信告警）
weixin_45880055的博客
10-06 2万+
一、AlertManager概述 Prometheus 包含一个报警模块，就是我们的 AlertManager，Alertmanager 主要用于接收 Prometheus 发送的告警信息，它支持丰富的告警通知渠道，而且很容易做到告警信息进行去重，降噪，分组等，是一款前卫的告警通知系统。 Alertmanager是一个独立的告警模块，接收Prometheus等客户端发来的警报，之后通过分组、删除重复等处理，并将它们通过路由发送给正确的接收器；告警方式可以按照不同的规则发送给不同的模块负责人，Alertman
PrometheusAlert+prometheus+Alertmanager实现各种类型告警 （企业微信告警、飞书告警、钉钉告警、）
W1124824402的博客
02-02 5542
Prometheus Alert 是开源的运维告警中心消息转发系统，支持主流的监控系统 Prometheus，日志系统 Graylog 和数据可视化系统 Grafana 发出的预警消息。通知渠道支持钉钉、微信、华为云短信、腾讯云短信、腾讯云电话、阿里云短信、阿里云电话等等。 配置简单又便捷
Prometheus Alertmanager告警模板
Blue summer的博客
12-19 1万+
1、告警模板 关于Alertmanager的告警模板，我们以上篇《Prometheus配置和使用Alertmanager发送告警至企业微信》的模板为例，对其做个说明， [root@centos74 home]# cat /usr/local/prometheus/alertmanager/wechat.tmpl {{ define "wechat.default.message" }} {{- if gt (len .Alerts.Firing) 0 -}} {{- range $index, $alert
Prometheus之Alertmanager告警
梵修
02-23 7889
global（全局配置）：用来定义一些全局的公共参数，比如Smtp邮件服务器配置、企业微信配置等template（告警模板）：用于定义告警通知时的模板，比如邮件模板、微信模板等router（告警路由规则）：用于定义告警的分发策略receivers（接收者）：用于定义告警接收人，可以是邮箱、微信等。一般配和告警路由规则来使用，实现不同的告警发给不同的接收人inhibit_rules（告警抑制规则）：用于定义告警抑制规则，避免垃圾告警产生。
告警疲劳？Prometheus + Alertmanager 如何让真正重要的告警才能叫醒你
最新发布
从事移动开发八年，csdn博客专家，阿里云特邀专家，华为云云享专家，高级网络信息安全工程师，大数据工程师（高级），python技术开发（高级），HarmonyOS 应用开发者高级认证，现在某学校任教。
04-09 1万+
告警这条链路上，最容易出问题的环节不是监控系统本身，而是"告警太多"。你有没有经历过这些：CPU 偶尔抖了一下，告警进群了；凌晨三点业务低峰期某个指标短暂飘高，电话响了；一个服务出问题，同一个故障原因触发了七八条告警，手机震了一晚上。最后运维人员的反应是什么？“算了，反正多半是误报，先睡吧。”——直到真有问题被漏掉了。Prometheus 负责采集和评估指标，这部分大多数团队都配了。但 Alertmanager 这个角色，往往被当成"可选配件"而不是核心组件来对待。
alertmanager常用的告警模板
W1124824402的博客
01-03 3399
description: "{{$labels.instance}}磁盘分区使用率过高 {{$labels.mountpoint}} 磁盘分区使用大于85%"description: "{{ $labels.instance }}连接数异常\n 当前连接数 {{ $value }}"时间: {{ (.StartsAt.Add 28800e9).Format "2006-01-02 15:04:05" }} summary: "{{ $labels.instance }} Redis连接数"
【云原生 | Kubernetes 系列】---AlertManage 无法发送企业微信告警故障排除
Q先生
09-07 1738
【云原生 | Kubernetes 系列】---AlertManage 无法发送企业微信告警故障排除
prometheus+alertmanager告警消息对接企业微信、飞书、钉钉
rainbowhhyhhy的博客
01-30 3913
本文讲述如何完美地将prometheus监控的告警消息通过alertmanager发送到企业微信、飞书、钉钉当前主流的通讯软件。
prometheus告警规则设置（二）
天码行空的码的博客
11-17 2987
告警规则的设置是通过yml文件来设置，因此需要遵从yml的语法 groups: -name:example#报警规则组的名字 rules: -alert:InstanceDown#检测job的状态，持续1分钟metrices不能访问会发给altermanager进行报警 expr:up==0 for:1m#持续时间，表示持续一分钟获取不到信息，则触发报警 labels: serverity:page#自定义...
Prometheus（5）Alert manager配置和Pormetheus 配置说明
учёба
02-09 3312
1 概述 Pormetheus的警告由独立的两部分组成。 Prometheus 服务中的警告规则将警告发送警告到Alertmanager。然后这个Alertmanager管理这些警告。 包括： silencing, inhibition, aggregation， 以及通过一些方法发送通知，例如：email，PagerDuty和HipChat。 2 Alertmanager (警报管理器) 2.1 Grouping（分组） Grouping分组将性质类似的警告分组成一个通知类。 当许多系统同时出现故障时
企业微信告警实战：Alertmanager + Webhook 配置全流程（附避坑指南）
Black的专栏
02-19 1001
本文详细介绍了如何将Prometheus生态中的Alertmanager告警无缝集成到企业微信。通过自建Webhook服务作为桥梁，文章提供了完整的配置流程、核心参数解读、消息模板定制以及实战避坑指南，帮助企业构建稳定高效的告警通知链路，实现告警的精准路由与智能管理。
【Alertmanager】Alertmanager告警路由，告警静默，告警抑制，高可用的实现
景天科技苑
02-25 6万+
所谓的告警路由，就是将不同的告警消息转发给不同的接收人，以便故障能快速的被处理和解决。 Alertmanager 的告警路由配置，使用的是树状结构来定义，以确保每条告警消息都能够按照定义好的路径进行处理。 当一条告警消息进来后，会先进入根路由，然后逐级的去匹配每个子路由的规则，然后将消息通过媒介发送给对应的接收人。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值