脚本怎样检测剔除故障节点

从原理到落地的自动化运维指南

📖 目录导读

1. 故障节点检测的核心挑战 – 为什么需要自动化脚本？
2. 常见检测机制与脚本实现 – Ping、端口、HTTP探活与自定义心跳
3. 剔除策略与脚本逻辑设计 – 阈值、重试、隔离与通知
4. 经典脚本案例精讲 – Shell + Python 实战代码拆解
5. FAQ 高频问答 – 检测频率、误判处理、多机房场景

故障节点检测的核心挑战

在分布式系统（如Kubernetes集群、负载均衡后端、微服务节点）中，节点宕机、网络分区、应用假死是常态，手动检测失效节点不仅低效，而且容易遗漏。脚本自动检测与剔除成为运维工程化的必备能力。

常见痛点：

• 节点“假死”（进程存在但无响应）
• 网络抖动导致偶发超时（误判）
• 剔除后需保证服务不中断（优雅摘流）
• 大规模集群下的检测性能消耗

常见检测机制与脚本实现

脚本基础：用Bash实现快速Ping探活

#!/bin/bash
# 检测节点列表，返回不可达节点
NODES=("10.0.0.1" "10.0.0.2" "10.0.0.3")
FAILED=()
for node in "${NODES[@]}"; do
    if ! ping -c 2 -W 1 $node > /dev/null 2>&1; then
        FAILED+=($node)
        echo "[WARN] $node unreachable"
    fi
done
echo "Failed nodes: ${FAILED[@]}"

剔除策略与脚本逻辑设计

仅仅检测到故障还不够，脚本需要“理性地”决定何时剔除。误判比漏判更可怕——错误剔除健康节点可能导致全局雪崩。

关键策略参数

进阶：健康度打分机制

健康分 = 最近N次成功比率 * 权重 + 响应时间因子 * 权重
阈值：低于70%  -> 标记为“可疑”，触发二次确认
       低于40%  -> 直接剔除

经典脚本案例精讲

案例1：多维度健康检查脚本（Python）

import socket
import subprocess
import json
from time import sleep
def check_http_health(ip, port, uri="/health"):
    try:
        sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
        sock.settimeout(3)
        result = sock.connect_ex((ip, port))
        sock.close()
        return result == 0
    except:
        return False
def check_tcp_port(ip, port):
    try:
        subprocess.run(
            ["nc", "-zv", ip, str(port)],
            capture_output=True,
            timeout=5
        )
        return True
    except:
        return False
def main():
    nodes = [
        {"ip": "192.168.1.10", "port": 8080, "fails": 0},
        {"ip": "192.168.1.11", "port": 8080, "fails": 0},
    ]
    FAIL_THRESHOLD = 3
    while True:
        for node in nodes:
            if check_tcp_port(node["ip"], node["port"]):
                node["fails"] = 0
                print(f"{node['ip']} healthy")
            else:
                node["fails"] += 1
                print(f"{node['ip']} fail count: {node['fails']}")
                if node["fails"] >= FAIL_THRESHOLD:
                    print(f"[ACTION] Remove {node['ip']} from load balancer")
                    # 在此调用负载均衡API剔除节点
        sleep(10)
if __name__ == "__main__":
    main()

案例2：结合Nginx的upsync模块实现剔除

#!/bin/bash
BASE_URL="http://localhost:8080/upstream_list"
ALL_NODES=($(curl -s $BASE_URL | jq -r '.servers[].ip'))
for node in "${ALL_NODES[@]}"; do
    if ! curl -o /dev/null -s -w "%{http_code}" http://$node:80/health | grep -q "200"; then
        curl -X POST -d "{\"down\":\"$node\"}" http://localhost:8080/upstream/down
        echo "Node $node removed from upstream"
    fi
done

生产环境建议： 不要直接用脚本操作生产配置，优先对接注册中心（Consul/Etcd）或负载均衡API，确保操作可审计、可回滚。

FAQ 高频问答

Q1：检测频率设为多少合适？

A: 取决于业务敏感度。

• 关键业务（如支付）：每5秒检测一次，连续3次失败剔除。
• 一般业务：每30秒检测，连续5次失败剔除。
• 注意：高频检测可能将负载均衡器自身压垮,建议单独跑检测进程而非嵌入到每台业务节点。

Q2：如何避免网络波动导致的误剔除？

A: 采用“指数级重试+累计失败计数”策略：

• 第一次失败：忽略，计数+1
• 第二次失败：延迟重试（等待3秒）
• 第三次失败：延迟重试（等待10秒）
• 达到阈值后，发剔除前再健康检查一次（二次确认）

Q3：脚本检测到节点故障后，怎么优雅剔除？

A: 步骤优先级：

1. 通知负载均衡器：将节点标记为“down”，停止新连接（但不中断已有长连接）
2. 等待连接耗尽：设置5~30秒的宽限期
3. 发送SIGTERM：让应用进程自行清理
4. 强制关闭（SIGKILL）：若进程未在预期时间内退出

Q4：多机房场景下，脚本如何处理跨地域节点？

A: 必须部署本地检测代理,原因：

• 公网检测受网络延迟、丢包影响大
• 每个机房独立检测本机房节点，各机房脚本互不依赖
• 全局调度中心汇总各机房代理的检测结果，做最终剔除决策

Q5：剔除后，节点恢复后如何自动加入？

A: 脚本需要维护一个“待恢复队列”：

• 剔除时移除节点，并记录时间戳
• 每60秒对剔除队列中的节点重新检测（使用更高超时时间,如5秒）
• 连续2次检测通过后，调用负载均衡API重新激活节点（预热机制：逐步增加权重）

自动化检测剔除的核心不在于脚本能力，而在于容错架构设计——允许失败、容忍网络抖动、可回滚，建议从简单的Ping+端口检查开始，逐步过渡到多维度健康评分+自动恢复，所有脚本在投入生产前，都要经过混沌工程测试（模拟节点假死、网络分区等）。