脚本怎样检测剔除故障节点

wen 实用脚本 2026-06-27 30

从原理到落地的自动化运维指南

📖 目录导读

故障节点检测的核心挑战 – 为什么需要自动化脚本？
常见检测机制与脚本实现 – Ping、端口、HTTP探活与自定义心跳
剔除策略与脚本逻辑设计 – 阈值、重试、隔离与通知
经典脚本案例精讲 – Shell + Python 实战代码拆解
FAQ 高频问答 – 检测频率、误判处理、多机房场景

故障节点检测的核心挑战

在分布式系统（如Kubernetes集群、负载均衡后端、微服务节点）中，节点宕机、网络分区、应用假死是常态，手动检测失效节点不仅低效，而且容易遗漏。脚本自动检测与剔除成为运维工程化的必备能力。

脚本怎样检测剔除故障节点

常见痛点：

节点“假死”（进程存在但无响应）
网络抖动导致偶发超时（误判）
剔除后需保证服务不中断（优雅摘流）
大规模集群下的检测性能消耗

常见检测机制与脚本实现

检测方式	适用场景	典型命令/API	优点	缺点
ICMP Ping	网络可达性	`ping -c 3 -W 1`	快速、轻量	可能被防火墙屏蔽
TCP端口探测	服务进程存活	`nc -zv IP PORT`	精确到服务端口	无法验证业务逻辑
HTTP健康检查	Web服务	`curl -o /dev/null -s -w "%{http_code}"`	可定制URI	需要服务暴露HTTP
自定义心跳脚本	内部状态	写入时间戳+读取	灵活可控	需侵入式改造

脚本基础：用Bash实现快速Ping探活

#!/bin/bash
# 检测节点列表，返回不可达节点
NODES=("10.0.0.1" "10.0.0.2" "10.0.0.3")
FAILED=()
for node in "${NODES[@]}"; do
    if ! ping -c 2 -W 1 $node > /dev/null 2>&1; then
        FAILED+=($node)
        echo "[WARN] $node unreachable"
    fi
done
echo "Failed nodes: ${FAILED[@]}"

剔除策略与脚本逻辑设计

仅仅检测到故障还不够，脚本需要“理性地”决定何时剔除。误判比漏判更可怕——错误剔除健康节点可能导致全局雪崩。

关键策略参数

参数	推荐值	说明
连续失败次数	3~5次	避免网络抖动引发误判
检测间隔	5~15秒	兼顾实时性与系统开销
剔除前等待	30~60秒	给节点自我恢复时间（如GC暂停）
剔除后重试周期	60~120秒	允许节点恢复后自动加入

进阶：健康度打分机制

健康分 = 最近N次成功比率 * 权重 + 响应时间因子 * 权重
阈值：低于70%  -> 标记为“可疑”，触发二次确认
       低于40%  -> 直接剔除

经典脚本案例精讲

案例1：多维度健康检查脚本（Python）

import socket
import subprocess
import json
from time import sleep
def check_http_health(ip, port, uri="/health"):
    try:
        sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
        sock.settimeout(3)
        result = sock.connect_ex((ip, port))
        sock.close()
        return result == 0
    except:
        return False
def check_tcp_port(ip, port):
    try:
        subprocess.run(
            ["nc", "-zv", ip, str(port)],
            capture_output=True,
            timeout=5
        )
        return True
    except:
        return False
def main():
    nodes = [
        {"ip": "192.168.1.10", "port": 8080, "fails": 0},
        {"ip": "192.168.1.11", "port": 8080, "fails": 0},
    ]
    FAIL_THRESHOLD = 3
    while True:
        for node in nodes:
            if check_tcp_port(node["ip"], node["port"]):
                node["fails"] = 0
                print(f"{node['ip']} healthy")
            else:
                node["fails"] += 1
                print(f"{node['ip']} fail count: {node['fails']}")
                if node["fails"] >= FAIL_THRESHOLD:
                    print(f"[ACTION] Remove {node['ip']} from load balancer")
                    # 在此调用负载均衡API剔除节点
        sleep(10)
if __name__ == "__main__":
    main()

案例2：结合Nginx的upsync模块实现剔除

#!/bin/bash
BASE_URL="http://localhost:8080/upstream_list"
ALL_NODES=($(curl -s $BASE_URL | jq -r '.servers[].ip'))
for node in "${ALL_NODES[@]}"; do
    if ! curl -o /dev/null -s -w "%{http_code}" http://$node:80/health | grep -q "200"; then
        curl -X POST -d "{\"down\":\"$node\"}" http://localhost:8080/upstream/down
        echo "Node $node removed from upstream"
    fi
done

生产环境建议： 不要直接用脚本操作生产配置，优先对接注册中心（Consul/Etcd）或负载均衡API，确保操作可审计、可回滚。