自动化脚本如何清理测试数据

本文目录导读：

1. 数据库数据清理（最核心部分）
2. 文件/对象存储清理（S3、本地文件等）
3. 内存/缓存/消息队列清理
4. 特殊业务数据（如风控、第三方接口）
5. 自动化清理脚本的通用模板（Python）
6. 选择策略的最佳实践

自动化脚本清理测试数据是保障测试环境稳定性和测试结果可重复性的关键步骤，具体方法取决于测试数据的类型（数据库、文件、内存对象、云服务等）以及测试的粒度（单元测试、集成测试、端到端测试）。

以下是几种常见的自动化数据清理策略及实现方式：

数据库数据清理（最核心部分）

这是最常见的场景，推荐从简单到复杂逐步选择：

方法A：事务回滚（最干净、最推荐）

• 原理：所有数据操作在一个数据库事务中执行,测试结束后回滚。
• 优点：绝对干净，不影响其他测试,无残留。
• 缺点：不支持跨库操作；某些测试需要先提交事务查看数据库状态（如验证插入）。
• 代码示例（Java/Spring + JUnit）：

  @Test
  @Transactional // Spring 会自动回滚
  @Rollback(true) // 明确回滚
  public void testCreateUser() {
      User user = new User("test@example.com");
      userRepository.save(user);
      Assert.assertNotNull(user.getId());
      // 方法结束后，事务自动回滚，用户被删除
  }

方法B：DELETE 截断（适用于集成/冒烟测试）

• 原理：测试前或测试后，执行 DELETE FROM table WHERE condition 或 TRUNCATE table。
• 优点：简单直接,不依赖事务。
• 缺点：可能遗漏关联表（外键）；大量数据时慢；需注意自增ID重置。
• 代码示例（Python + SQLAlchemy）：

  def clean_test_data():
      with db.session.begin():
          # 按外键顺序删除（先删子表，再删主表）
          db.session.execute("DELETE FROM order_items WHERE order_id IN (SELECT id FROM orders WHERE session_id = 'test_session')")
          db.session.execute("DELETE FROM orders WHERE session_id = 'test_session'")
          # 或直接 TRUNCATE：db.session.execute("TRUNCATE TABLE orders CASCADE")

方法C：沙盒Schema（适用于多租户/复杂环境）

• 原理：每个测试体使用独立的数据库或Schema,测试结束后直接删除整个Schema。
• 优点：极快,数据完全隔离。
• 缺点：环境搭建成本高。
• 代码示例：

  CREATE SCHEMA IF NOT EXISTS test_tenant_abc;
  -- 运行测试...
  DROP SCHEMA IF EXISTS test_tenant_abc CASCADE;

文件/对象存储清理（S3、本地文件等）

很多测试会生成临时文件或上传对象到云存储。

• 策略：使用前缀+临时目录 + 递归删除。

• 代码示例（Python + boto3 S3）：

  import boto3
  def clean_s3_test_data(bucket, prefix="test_upload/"):
      s3 = boto3.client('s3')
      # 列出所有以 test 开头的对象
      objects = s3.list_objects_v2(Bucket=bucket, Prefix=prefix)
      if 'Contents' in objects:
          delete_keys = [{'Key': obj['Key']} for obj in objects['Contents']]
          s3.delete_objects(Bucket=bucket, Delete={'Objects': delete_keys})
          print(f"Cleaned {len(delete_keys)} objects from {prefix}")

• 本地文件：使用 tempfile 模块创建临时目录,测试结束后自动释放。

  import tempfile, os
  # 自动清理
  with tempfile.TemporaryDirectory() as tmp_dir:
      # 在 tmp_dir 下写文件
      with open(os.path.join(tmp_dir, "test.csv"), "w") as f:
          f.write("data")
      # 退出 with 块后，tmp_dir 自动删除

内存/缓存/消息队列清理

• Redis：测试用例使用独立 key 前缀（如 test_user:123），在 @AfterSuite 或 cleanup 中执行 KEYS test_* 并 DEL。
• Kafka/RabbitMQ：测试结束后，手动删除测试用队列或清除队列中的消息（使用管理API）。
• 内存对象：单元测试通常无需清理（方法结束后GC回收），但要防止静态变量污染（如单例模式的数据持有者），需在 @BeforeClass 重置状态。

特殊业务数据（如风控、第三方接口）

有些数据无法直接删除（例如支付订单、已发送的短信记录）。

• 策略A：标记+逻辑删除
  • 在测试数据中增加一个 test_session_id 字段。
  • 清理时执行 UPDATE orders SET deleted=1 WHERE test_session_id = 'session-xxx'。
• 策略B：Mock 或 Stub
  • 对于极其昂贵的操作（如支付宝回调），不真正创建资源,而是Mock掉调用。
  • 清理：只需清除Mock上下文。

自动化清理脚本的通用模板（Python）

这是你可能需要的通用框架：

import pytest
from db import Database
from s3_client import S3Client
from redis_client import RedisClient
# 共享的测试会话ID（用于关联数据）
TEST_SESSION = "test_auto_cleanup_20231027"
@pytest.fixture(autouse=True)
def setup_and_teardown():
    # --- Setup: 确保环境干净（防止上次失败残留）---
    print(f"Pre-cleaning session: {TEST_SESSION}")
    clean_all_test_data(TEST_SESSION)
    yield  # 测试执行
    # --- Teardown: 清理本次数据 ---
    print(f"Post-cleaning session: {TEST_SESSION}")
    clean_all_test_data(TEST_SESSION)
def clean_all_test_data(session_id):
    # 1. 清理数据库
    db = Database()
    with db.transaction():
        db.execute("DELETE FROM order_items WHERE order_id IN (SELECT id FROM orders WHERE session_id = %s)", (session_id,))
        db.execute("DELETE FROM orders WHERE session_id = %s", (session_id,))
        db.execute("DELETE FROM users WHERE session_id = %s", (session_id,))
    # 2. 清理S3文件
    s3 = S3Client()
    s3.delete_objects(prefix=f"uploads/{session_id}/")
    # 3. 清理Redis缓存
    redis = RedisClient()
    for key in redis.scan_iter(match=f"{session_id}:*"):
        redis.delete(key)
# 测试用例
def test_upload_order():
    # 你的测试逻辑，使用 TEST_SESSION 插入数据
    pass

选择策略的最佳实践

核心原则：

1. 原子性：清理要么全成功，要么全失败（使用事务或异常处理）。
2. 幂等性：脚本多次执行结果一样（先删再删不会报错）。
3. 有序性：先删子表，再删主表（避免外键冲突）。
4. 隔离性：为测试数据添加唯一标识（如 test_ 前缀）,防止误删生产数据。

自动化清理的最终目标是：让测试可以在干净的、状态已知的环境中反复运行，而不依赖人工干预。