系统监控告警设计：Prometheus Alertmanager 实战

系统监控告警设计

合理的告警策略是运维效率的关键。

一、概述

告警设计需要在及时性和告警疲劳之间找到平衡。

二、规则

groups:
  - name: system
    rules:
      - alert: HighCPU
        expr: 100 - avg by(instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100 > 80
        for: 10m
        labels: {severity: warning}
      - alert: DiskFull
        expr: (node_filesystem_avail_bytes / node_filesystem_size_bytes) * 100 < 10
        for: 5m
        labels: {severity: critical}

三、Alertmanager

route:
  group_by: [alertname]
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h
  receiver: webhook

四、分级

五、实践

• 避免告警风暴
• 设置合理的静默期
• 定期审查告警规则
• 建立告警升级机制

六、总结

好的告警设计能让运维事半功倍。

本文基于实际生产环境经验编写，配置参数需根据具体情况调整。建议在测试环境验证后再应用于生产环境。