本文目录导读：
故障注入工具（Fault Injection Tools）是混沌工程（Chaos Engineering）和系统稳定性测试中的核心工具，它们通过人为地在系统中引入各种故障（如网络延迟、节点崩溃、磁盘故障、CPU过载等），来验证系统在异常情况下的韧性、恢复能力和容错机制是否生效。
以下是一些主流的故障注入工具,按应用领域分类：
云原生 / Kubernetes 环境
- Chaos Mesh —— 开源，CNCF 项目，功能最全面。
- 特点：原生支持 Kubernetes，提供丰富的故障类型（Pod 删除、网络分区、CPU/内存压力、IO 延迟、DNS 错误等），拥有强大的可视化仪表盘和工作流，支持定时的自动化实验。
- Litmus —— 开源，CNCF 项目，易用性与可观测性强。
- 特点：通过 CRD（自定义资源定义）定义实验，提供 Hub 功能（预置了数百种现成的实验模板），集成了 GitOps 和 CI/CD 流水线，适合与 ArgoCD、Jenkins 等搭配。
- Gremlin —— 商业工具，业界标杆。
- 特点：支持主机、容器、K8s 和 AWS/GCP/Azure 等云平台，拥有安全、精准的故障注入机制（如“爆破半径”控制），以及强大的报告和事后分析功能，适合企业级用户。
网络层故障注入
tc(Traffic Control) +netem—— Linux 自带，最基础但最强大。- 用法：通过命令行模拟网络延迟、丢包、重复、乱序、损坏等。
tc qdisc add dev eth0 root netem delay 100ms 20ms loss 10% - 局限性：需要深入理解网络参数，操作相对复杂，且作用于整个网卡，不易精准施害于特定进程。
- 用法：通过命令行模拟网络延迟、丢包、重复、乱序、损坏等。
- Toxiproxy —— Shopify 开源，应用层网络代理。
- 特点：作为服务间的代理，可集中注入故障（延迟、中断、限速），非常适合微服务架构的本地开发和测试阶段，通过 HTTP API 控制，自动化友好。
- Pumba —— 轻量级，容器网络工具。
- 特点：专门针对 Docker 和 Docker Compose 环境，可以停掉指定容器，或对容器网络进行延迟、丢包等干扰。
系统/硬件层故障注入（常用于压测）
- Stress-ng —— CPU/内存/IO 压力测试神器。
- 用法：
stress-ng --cpu 8 --vm 2 --io 4 --timeout 30s，可以模拟 CPU 满载、内存大量分配、磁盘 I/O 繁忙等场景，适合测试资源限制（如 K8s Resource Quota）和 OOM Killer 逻辑。
- 用法：
- Fio —— 磁盘 I/O 深度测试。
- 用法：
fio --randrepeat=1 --ioengine=libaio --direct=1 --name=fiotest --filename=/dev/sda --size=10G --rw=randwrite，可以模拟高 IOPS（每秒输入输出操作数）、高吞吐、随机读写等场景，测试磁盘性能瓶颈或 RAID 卡故障。
- 用法：
kill/killall/pkill—— 最朴素的进程级注入。直接杀死关键进程（如数据库、消息队列、网关）来观察依赖服务的降级反应。
数据库 / 微服务层
- Haxx —— 数据库故障测试。
- 特点：直接劫持 MySQL、PostgreSQL、MongoDB 等数据库的 libc 函数，模拟网络中断、磁盘满、权限拒绝、连接耗尽等异常，无需修改应用代码。
- Testcontainers —— 集成测试库。
- 特点：虽然不是纯故障注入工具，但在编写集成测试时，可以轻松启动一个容器化的数据库或消息队列（如 Redis、Kafka），然后在测试中人为停止该容器或对其注入网络故障，非常适合自动化测试。
代码层面的故障注入（开发测试）
- Failsafe (Java) / Resilience4j (Java) / Hystrix (Java, 已退役) —— 熔断、重试、限流库。
这些库自身实现了容错逻辑,但你可以通过它们故意触发熔断或抛出异常，来测试下游依赖的处理逻辑。
- Pytest-fail (Python) / Sinon (JavaScript) —— 测试 Mock。
- 用法：在单测或集成测试中，使用 Mock 或 Stub 函数代替真实调用，模拟抛出异常或返回超时。
mock.patch('requests.get', side_effect=Timeout)。
- 用法：在单测或集成测试中，使用 Mock 或 Stub 函数代替真实调用，模拟抛出异常或返回超时。
如何选择？
| 场景 | 推荐工具 |
|---|---|
| 想快速在 K8s 上做混沌实验 | Chaos Mesh 或 Litmus |
| 生产环境或严肃的稳定性测试 | Gremlin (商业) 或开源自建 (Chaos Mesh) |
| 本地开发、集成测试（Docker/Podman） | Toxiproxy + Testcontainers |
| 仅仅想压测 CPU/内存/IO | Stress-ng + Fio |
| 面试/学习 Linux 网络扰动的原理 | tc + netem |
| 微服务的熔断降级测试 | Resilience4j / Failsafe (配合 Mock) |
建议：从 Chaos Mesh 或 Litmus 入门，它们都是开源且文档完善的工具，覆盖了大多数云原生场景，对于更底层的网络或系统测试，tc 和 stress-ng 是必备技能。
