脚本如何采集现场排查信息

wen 实用脚本 2026-06-26 28

自动化日志与设备数据抓取实战指南

目录导读

现场排查信息采集的痛点与需求
脚本设计核心原则：鲁棒性、可溯源、低侵入
常见采集对象与脚本命令示例
采集脚本的自动化执行策略
数据后处理与报告生成
常见问题问答（FAQ）
总结与最佳实践建议

现场排查信息采集的痛点与需求

在IT运维、网络排障或工业设备巡检中，现场排查信息采集是一项高频、重复且容易出错的环节，传统做法是工程师携带U盘，逐一登录设备执行“show”命令，再手动整理输出，这种模式存在三大痛点：

脚本如何采集现场排查信息

效率低下：一台网络设备平均需执行20+条命令，百台设备则需数千次手工输入。
易遗漏关键字段：不同人在不同压力下可能忘记采集特定日志（如show logging、show ip interface brief）。
数据格式不统一：有人用截图，有人用文本，有人用Excel，后期解析成本高。

脚本化的核心价值在于：用标准化的命令模板，以无人值守方式批量采集信息，并输出为结构化数据（如JSON/CSV），为自动化分析铺路。

问答：
问：什么场景最需要脚本采集而非手动操作？
答：当设备数量超过10台、需要定期重复采集（如每周巡检）、或需要采集实时变化的数据（如接口流量、CPU利用率）时，脚本采集是唯一可行方案。

脚本设计核心原则：鲁棒性、可溯源、低侵入

编写现场排查采集脚本时,需遵循三条铁律：

原则	说明	实现手法
鲁棒性	应对密码错误、SSH中断、命令超时等异常	加入try/except块，设置超时重试（如3次），保留日志记录
可溯源	每一条采集数据都附带设备名、采集时间、执行者	时间戳自动注入文件名（如`168.1.1_2025-03-20-10-30-00.txt`）
低侵入	采集过程不得影响设备正常运行	避免使用高CPU命令（如`debug`），控制并发数（如一次连接2台设备）

示例代码片段（Python + Paramiko）：

import paramiko
from datetime import datetime
def collect_show_commands(host, commands):
    try:
        client = paramiko.SSHClient()
        client.set_missing_host_key_policy(paramiko.AutoAddPolicy())
        client.connect(host, username='admin', password='pass', timeout=10)
        for cmd in commands:
            stdin, stdout, stderr = client.exec_command(cmd, timeout=30)
            output = stdout.read().decode()
            filename = f"{host}_{datetime.now().strftime('%Y%m%d_%H%M%S')}_{cmd.replace(' ','_')}.txt"
            with open(filename, 'w') as f:
                f.write(output)
    except Exception as e:
        with open(f"error_{host}.log", 'a') as f:
            f.write(f"{datetime.now()} - {str(e)}\n")
    finally:
        client.close()

常见采集对象与脚本命令示例

不同场景需要不同的采集内容,以下是三类典型场景的脚本命令模板：

1 网络设备排查（Cisco/Juniper/Huawei）

show version        # 系统版本与运行时间
show ip interface brief  # 接口IP与状态
show loggin        # 近期日志（重点关注CRITICAL级别）
show process cpu   # CPU使用率（最关键）
show memory        # 内存瓶颈
show ip route      # 路由表校验
show interface stats  # 接口流量与丢包

2 Linux/Windows服务器排查

top -bn1 | head -20      # CPU与内存top
df -h                    # 磁盘使用率
free -h                  # 内存总量
journalctl -u <service> --since "1 hour ago"  # 服务日志
netstat -anp | grep LISTEN  # 端口监听

3 工业IoT设备（Modbus/SNMP）

# 使用pysnmp抓取OID值
from pysnmp.hlapi import *
iterator = getCmd(SnmpEngine(),
                  CommunityData('public'),
                  UdpTransportTarget(('192.168.1.100', 161)),
                  ContextData(),
                  ObjectType(ObjectIdentity('1.3.6.1.2.1.1.5.0')))  # 设备名称

问答：
问：对于SaaS或云服务（如AWS、Azure），脚本如何采集排查信息？
答：直接调用云厂商SDK或REST API，例如用AWS CLI执行aws ec2 describe-instances --filters "Name=tag:Name,Values=web-prod"，脚本只需封装相关API调用并处理JSON输出即可。

采集脚本的自动化执行策略

单次执行脚本只能解决“一次性排查”，真正的高效在于定时触发与集中管理。

1 定时触发方案

Linux cron：0 8 * * 1 /usr/local/bin/network_collect.py （每周一早上8点执行）
Windows Task Scheduler：设置触发器，指定Python脚本路径

2 分布式并发架构

如果设备超过200台,建议使用SSH保活池 + 多线程/协程：

from concurrent.futures import ThreadPoolExecutor
def batch_collect(hosts_list, commands):
    with ThreadPoolExecutor(max_workers=10) as executor:
        results = executor.map(collect_one_host, hosts_list, [commands]*len(hosts_list))

3 结果存放与报警

采集结果应统一存入目录,并自动比对历史数据，若某接口状态从“up”变为“down”，脚本应即时通过邮件或Webhook发出告警。

问答：
问：采集大量设备时，如何防止SSH连接数过多导致设备拒绝？
答：始终遵循“慢速采集”原则，并发数建议不超过10，更好方案是用Ansible这类自动化框架，它会自动管理连接池与重试机制。

数据后处理与报告生成

原始文本输出需要清洗才能用于分析,建议脚本在采集完毕后自动执行后处理：

1 关键信息提取（正则示例）

import re
cpu_pattern = r"CPU utilization is (\d+\.?\d*)%"
cpu_match = re.search(cpu_pattern, output_text)
if cpu_match:
    cpu_percent = cpu_match.group(1)

2 生成对比报告

利用Python的pandas库将多台设备的数据汇总成DataFrame，生成表格报告（Excel或HTML）：

import pandas as pd
data = [{'设备IP':'10.0.0.1', 'CPU%':45.2, '内存%':67.8}, ...]
df = pd.DataFrame(data)
df.to_excel('巡检报告_2025-03-20.xlsx', index=False)

3 可视化异常

将CPU高于80%的设备标记为红色，磁盘使用率超过90%的写入“告警表”，并生成图表（使用matplotlib）。

问答：
问：采集脚本输出数据量太大（如数十GB日志），如何处理？
答：采集时只抓取近期日志（如--since "24 hour ago"），对历史数据建议使用rsync或日志流（如Fluentd）处理，而非所有内容一次性本地保存。

常见问题问答（FAQ）

Q1： 采集脚本是否一定需要编程语言？能否用Shell？
A1： 当然可以，Shell脚本配合expect工具自动交互，适合Linux/Unix设备，但若需要对接Excel、API、并发控制，Python或Go更优。

Q2： 如何确保采集命令在不同设备型号（如Cisco IOS vs NX-OS）上兼容？
A2： 脚本应前置“设备发现”阶段：先执行show version，根据输出内容（如IOS-XE、NX-OS）加载对应命令模板文件（如cisco_ios_commands.txt、cisco_nxos_commands.txt）。

Q3： 采集出的日志中含有敏感信息（如密码、认证字符串）怎么办？
A3： 脚本采集后立即执行脱敏：用正则替换password.+\n为password ********，或通过regex模块过滤，脱敏后的结果再存储或传输。

Q4： 设备不支持SSH，只支持Telnet怎么办？
A4： 改用telnetlib库（Python内置），或用pexpect模拟交互，但强烈建议升级设备到SSH，Telnet明文传输风险极高。

Q5： 脚本执行过程如何确保不被设备当作攻击？
A5： 合理设置延迟（如每台设备间隔1秒），使用标准账号而非默认root，并在设备侧配置管理ACL限制来源IP。

总结与最佳实践建议

脚本化现场排查信息采集,核心价值在于将人力从重复劳动中解放，并让数据可量化、可对比，最佳实践总结如下：

模板化命令库：为不同品牌与型号的设备维护单独的文本模板，脚本通过条件加载。
结果自动归档：按设备IP_日期_命令类型格式命名文件，便于检索。
异常拦截机制：只要出现连接超时、命令错误、返回值异常，脚本立即写错误日志并跳过该设备，而非中断全部流程。
定期测试脚本：设备固件升级后，可能造成原命令输出格式变化，需每月至少运行一次测试。

不要追求“一次性采集所有数据”，应聚焦于当前排查最核心的字段，等到真正需要更深度信息时，再针对性增加命令，保持脚本的轻量级与可维护性。

问答：
问：作为初学者，第一步应该怎么写脚本？
答：先在3台设备上手动模拟执行，记录你输入的所有命令与输出；然后将命令列表保存为文本文件，用Python的with open和exec_command逐条执行；最后加上时间戳命名与异常处理，完成这三步，你就拥有了一个可用的最小脚本。