系统稳定性保障有哪些黄金指标

wen IT资讯 2026-08-04 2

本文目录导读：

系统稳定性保障有哪些黄金指标

系统稳定性保障的“黄金指标”（Golden Signals）概念最早由 Google 的 SRE（站点可靠性工程）团队提出，旨在用最少的指标来全面反映一个系统的健康状态。

这四大黄金指标分别是：延迟（Latency）、流量（Traffic）、错误（Errors）和饱和度（Saturation），下面为你详细拆解这四个指标，并附上实际监控中的建议。

延迟（Latency）—— 服务的响应速度

定义：系统处理一个请求所需的时间。 核心关注点：

区分成功与失败：这是最容易踩的坑，监控延迟时，必须将成功请求和失败请求的延迟分开统计，一个数据库连接池耗尽，返回的“错误响应”可能非常快（毫秒级），但这并不代表系统健康，如果混在一起，平均值会被拉低，掩盖真实的性能劣化。
关注高百分位数：不要只看平均值（Mean），建议重点关注 P50（中位数）、P95（第95百分位）和 P99（第99百分位）。
- 举例：P99 延迟为 500ms，意味着 99% 的请求在 500ms 内完成，剩下 1% 的请求代表了最差体验的用户（往往是数据量最大的用户），值得特别关注。

定义：系统当前承受的负载有多重。 核心关注点：

针对不同系统定义：
- Web/API 服务：通常指 QPS（每秒查询数）或 RPS（每秒请求数）。
- 数据库：通常指 TPS（每秒事务数）或读写比例。
- 流媒体/消息队列：通常指每秒处理的数据量（MB/s）或消息条数。
作用：流量指标是判断扩容、缩容和限流的重要依据，流量突增往往预示着促销活动、爬虫攻击或代码逻辑触发循环。

定义：请求失败的比率。 核心关注点：

显式错误：明确的 HTTP 500 错误、业务返回码非 0、网络超时等。
隐式错误：这是高级监控的一部分。
- 返回了 HTTP 200，但响应内容为空（“白屏”）。
- 返回了 HTTP 200，但响应内容是一段错误提示（如“网络连接失败”的静态页面）。
- 协议错误：如 HTTP 响应中 Content-Type 错误导致解析失败。
计算方式：通常用 (错误请求数 / 总请求数) * 100% 来衡量，并设置对应的告警阈值（如 > 1% 触发告警）。

定义：系统容量被使用的比例，或者说系统“满”到什么程度了。 核心关注点：

关注瓶颈资源：饱和度通常指最紧张的那个资源，包括：
- 硬件：CPU 使用率、内存使用率、磁盘 I/O 等待时间、网络带宽。
- 软件/服务：线程池排队长度、数据库连接池使用率、消息队列堆积数量（消费速度跟不上生产速度）。
“排队”是重要信号：当系统开始排队时，通常意味着饱和度很高，请求等待线程池分配线程的时间在变长。
高级预测：饱和度不仅用于“现在是否健康”，还用于预测“未来什么时候会出问题”，通过观察磁盘空间的增长趋势，预测何时会满，从而提前扩容。

在实际落地中,四大黄金指标通常和另外两个模型结合使用：

RED 方法（针对服务/请求级）：Rate（速率，对应流量）、Errors（错误，对应错误）、Duration（持续时间，对应延迟），通常用于监控微服务和 API。
USE 方法（针对基础设施/资源级）：Utilization（利用率）、Saturation（饱和度）、Errors（错误），通常用于监控服务器、数据库、网络设备（CPU 利用率、网络丢包率）。

不要对所有服务一刀切：
- 核心交易链路（如支付）的 P99 延迟要求可能 < 200ms。
- 非核心查询链路（如历史报表导出）的 P99 延迟可能 < 10s 即可。
设置多级阈值：
- Warning（警告）：P99 延迟超过基线的 150%，持续 5 分钟。
- Critical（严重）：P99 延迟超过基线的 300%，持续 2 分钟，或错误率超过 5%。
关注“长尾效应”：
P50 只有 50ms，但 P99 达到了 2s，说明虽然大部分人流畅，但有一个分布式查询因数据倾斜或缓存穿透导致极慢，这比整体变慢更隐蔽，也更容易让用户“单独”流失。

黄金指标的核心价值在于帮你用“用户视角”和“容量视角”双重审视系统。延迟和错误代表用户体验，流量和饱和度代表系统容量与未来风险，四者缺一不可。