脚本中测试数据如何生成和管理

本文目录导读：

1. 测试数据生成方法
2. 测试数据管理策略
3. 最佳实践建议
4. 常见问题处理

在软件开发和测试中，测试数据的生成和管理是保证测试质量的关键环节，根据你的问题，我将从生成和管理两个维度,结合不同场景给出具体方案。

测试数据生成方法

随机数据生成

适合不需要特定业务规则的场景。

Python 示例：

import random
import string
from faker import Faker
fake = Faker()
# 基本随机数据
def generate_random_user():
    return {
        "name": ''.join(random.choices(string.ascii_letters, k=8)),
        "age": random.randint(18, 60),
        "email": fake.email(),
        "phone": fake.phone_number()
    }
# 使用 Faker 库生成真实感数据
def generate_realistic_users(count=100):
    return [
        {
            "name": fake.name(),
            "address": fake.address(),
            "credit_card": fake.credit_card_number()
        }
        for _ in range(count)
    ]

边界值数据生成

针对测试边界条件，如最大值、最小值、空值等。

示例：

def generate_boundary_data():
    return [
        {"input": ""},      # 空字符串
        {"input": "a"},     # 最小长度
        {"input": "a" * 255}, # 最大长度
        {"input": None},    # None值
        {"input": 0},       # 最小值
        {"input": -1},      # 负数
        {"input": 999999},  # 极大值
        {"input": 0.0001}   # 极小浮点数
    ]

基于规则的数据生成

适合有复杂业务逻辑的场景。

Python 示例（使用 factory_boy）：

import factory
from dataclasses import dataclass
@dataclass
class Order:
    id: int
    user_id: int
    amount: float
    status: str
    created_at: str
class OrderFactory(factory.Factory):
    class Meta:
        model = Order
    id = factory.Sequence(lambda n: n + 1)
    user_id = factory.Faker('random_int', min=1, max=1000)
    amount = factory.Faker('pydecimal', left_digits=4, right_digits=2)
    status = factory.Iterator(['pending', 'paid', 'shipped', 'cancelled'])
    created_at = factory.Faker('date_time_this_year')
# 生成测试数据
orders = OrderFactory.build_batch(50)

从生产环境脱敏

需要真实数据但必须保护隐私。

import hashlib
import re
def desensitize_data(record):
    """脱敏处理"""
    return {
        "name": record["name"][0] + "***",
        "phone": record["phone"][:3] + "****" + record["phone"][-4:],
        "email": re.sub(r'(?<=.{2}).(?=.*@)', '*', record["email"]),
        "id_card": record["id_card"][:4] + "**********" + record["id_card"][-4:]
    }

测试数据管理策略

数据分层管理

test_data/
├── static/              # 静态数据（不变）
│   ├── config.json
│   └── expected_results.yaml
├── generated/           # 生成的临时数据
│   └── test_run_20240101/
├── fixtures/            # 固定数据（测试夹具）
│   ├── users.json
│   └── orders.csv
└── templates/           # 数据模板
    └── user_template.py

版本控制管理

示例：数据文件带版本号

# test_data_v1.0.yaml
version: "1.0"
created_at: "2024-01-01"
description: "API测试初始数据"
users:
  - id: 1
    name: "测试用户A"
    role: "admin"
  - id: 2
    name: "测试用户B"
    role: "user"

数据库管理（测试数据独立数据库）

# test_config.py
DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.postgresql',
        'NAME': 'test_db',  # 独立测试数据库
        'USER': 'test_user',
        'PASSWORD': 'test_pass',
        'HOST': 'localhost',
        'OPTIONS': {
            'options': '-c search_path=test_data'  # 独立schema
        }
    }
}

数据工厂 + 清理机制

import pytest
from data_factories import UserFactory, OrderFactory
@pytest.fixture
def setup_test_data():
    """创建测试数据并自动清理"""
    # setup
    user = UserFactory.create()
    orders = OrderFactory.create_batch(5, user=user)
    yield {"user": user, "orders": orders}
    # teardown - 自动清理
    user.delete()
    for order in orders:
        order.delete()
def test_user_orders(setup_test_data):
    data = setup_test_data
    assert len(data["orders"]) == 5

最佳实践建议

数据生成原则

• 最小化原则：只生成测试需要的数据
• 可重复性：使用种子随机数确保可重现

  random.seed(42)  # 固定种子

• 独立性：测试之间数据不相互依赖

数据管理工具推荐

持续集成中的管理

# .gitlab-ci.yml
test_job:
  stage: test
  before_script:
    - pip install -r requirements.txt
    - python manage.py migrate test_db
    - python manage.py loaddata test_fixtures.yaml   # 加载固定数据
    - python generate_test_data.py --count 100       # 生成动态数据
  script:
    - pytest --cov
  after_script:
    - python manage.py flush --noinput  # 清理测试数据
    - docker-compose -f test-db.yml down -v  # 重置数据库

性能测试数据生成

# 大规模数据生成（使用多线程）
from concurrent.futures import ThreadPoolExecutor
import csv
def generate_large_dataset(total=100000, batch_size=1000):
    """生成百万级测试数据"""
    with ThreadPoolExecutor(max_workers=10) as executor:
        futures = []
        for i in range(0, total, batch_size):
            future = executor.submit(
                create_batch, 
                start=i, 
                count=min(batch_size, total-i)
            )
            futures.append(future)
        results = []
        for future in futures:
            results.extend(future.result())
    # 写入CSV
    with open('test_data.csv', 'w', newline='') as f:
        writer = csv.DictWriter(f, fieldnames=['id', 'name', 'value'])
        writer.writeheader()
        writer.writerows(results)

常见问题处理

数据污染

• 解决方案：每个测试使用事务回滚或独立数据库

  @pytest.mark.django_db(transaction=True)
  def test_with_clean_data():
    pass  # 测试结束后自动回滚

数据一致性

• 解决方案：使用数据校验函数

  def validate_test_data(data):
    assert data['email'].count('@') == 1
    assert len(data['phone']) == 11
    assert data['age'] >= 0

性能问题

• 解决方案：懒加载 + 缓存

  from functools import lru_cache

@lru_cache(maxsize=1) def get_common_test_data(): """缓存常用测试数据""" return generate_static_data()

## 
好的测试数据管理应该：  
1. **可重现**：相同输入产生相同结果  
2. **可隔离**：测试之间不相互影响  
3. **可维护**：数据与代码分离，方便更新  
4. **高效**：避免不必要的数据生成和清理
根据项目复杂度，可以选择手工创建少量固定数据，或使用工具生成大量动态数据，关键是建立清晰的管理规范，让测试数据成为可控的资产而非负担。