告警设置里最容易犯的错，是把阈值设得太敏感。

结果不是更安全，是第三周就有人把告警静音了——包括真出事的那次。

单点失败不要告警

一个节点测失败，可能是那个节点自己的网络抖了，也可能是探测机房的临时问题。

设成「两个以上地区同时失败」再告警，噪音能砍掉九成。代价是晚一分钟发现，这个代价值得。

连续失败比单次失败靠谱

一次 502 可能只是进程重启的瞬间。连续三次失败，才说明真的挂了。

探测频率是 1 分钟的话，连续三次就是三分钟内的持续异常，这个信号足够强。

分级，别一档到底

轻级别：响应时间超过基线两倍，发群消息，不打电话。

中级别：连续 3 次超时，打电话给值班。

重级别：全部节点失败或者状态码 5xx，全员通知。

不同的问题配不同的打扰方式，人才会认真看。

静默期必须有

发布、重启、扩容的时候会短暂不可用。这些是计划内的，不该触发告警。

提前设 10 到 30 分钟静默，避免发布当晚被自己的告警吵醒。

阈值要看基线，不要抄数字

别人说 TTFB 超过 500ms 告警，那是别人的站。你的站平时就是 600ms，照抄会天天响。

先观察一周，拿到正常波动范围，再定阈值。一般设在基线的 1.5 到 2 倍。

别忘了告警会疲劳

一个月响 200 次的告警，等于没有告警。宁可少报，不可乱报。

配置入口在 监控控制台，节点、频率、阈值都能按站点单独调。