IT技术社区_专业开发者平台_最新编程教程与解决方案 -沐辰社区

Java案例如何实现数据清洗？

wen python案例 309

本文目录导读：

Java案例如何实现数据清洗？

  1. 核心思路与常用库
  2. 案例一：使用 Stream API 清洗内存中的数据（去空、去重、过滤）
  3. 案例二：使用正则表达式清洗文本格式（手机号、身份证、邮箱）
  4. 案例三：清洗 CSV 文件（读取 → 清洗 → 写出）
  5. 案例四：复杂清洗 — 填充缺失值与异常值
  6. 案例五：使用 Apache Commons Lang 处理字符串清洗
  7. 总结与最佳实践

Java中实现数据清洗通常涉及对原始数据进行过滤、转换、去重、填充缺失值、格式标准化等操作，数据清洗是数据预处理的关键步骤，通常在大数据分析、ETL（数据抽取、转换、加载）或数据迁移项目中使用。

下面我将通过几个典型的 Java 案例，展示如何实现常见的数据清洗任务。

核心思路与常用库

在 Java 中实现数据清洗，主要依赖以下几种方式：

  1. 纯 Java + 集合框架：适合中小规模数据，使用 List、Map、Stream API 进行过滤和映射。
  2. 正则表达式：用于清洗文本格式（如电话号码、邮箱、身份证）。
  3. Apache Commons Lang / BeanUtils：处理字符串、Bean属性。
  4. OpenCSV / Apache POI：读取 CSV、Excel 文件进行清洗。
  5. Java 8+ Stream API：链式操作，简洁高效。

使用 Stream API 清洗内存中的数据（去空、去重、过滤）

假设我们从用户注册日志中获取了一个用户列表,需要清洗掉无效数据。

import java.util.*;
import java.util.stream.*;
public class StreamCleanExample {
    public static void main(String[] args) {
        // 模拟脏数据：包含 null、空字符串、重复、非法年龄
        List<User> rawUsers = Arrays.asList(
            new User("Alice", 25, "alice@example.com"),
            new User("Bob", -5, "bob@test"),       // 年龄非法
            new User("", 30, ""),                  // 姓名为空
            new User("Charlie", null, null),       // 年龄为null，邮箱为null
            new User("Alice", 25, "alice@example.com"), // 重复
            new User("David", 150, "david@example.com") // 年龄过大
        );
        // 清洗逻辑：年龄在0-120之间，姓名非空，邮箱非空且格式简单校验
        List<User> cleanedUsers = rawUsers.stream()
            .filter(Objects::nonNull)                         // 过滤null
            .filter(u -> u.getName() != null && !u.getName().trim().isEmpty()) // 姓名非空
            .filter(u -> u.getAge() != null && u.getAge() >= 0 && u.getAge() <= 120) // 年龄合法
            .filter(u -> u.getEmail() != null && u.getEmail().contains("@")) // 邮箱包含@
            .distinct()                                   // 去重（需重写equals/hashCode）
            .collect(Collectors.toList());
        System.out.println("清洗前数量: " + rawUsers.size());
        System.out.println("清洗后数量: " + cleanedUsers.size());
        cleanedUsers.forEach(System.out::println);
    }
}
class User {
    private String name;
    private Integer age;
    private String email;
    public User(String name, Integer age, String email) {
        this.name = name;
        this.age = age;
        this.email = email;
    }
    // getter / setter / equals / hashCode / toString 省略
}

关键点：

  • distinct() 依赖 equals() / hashCode()，如果User未重写则无法正确去重（默认比较对象引用）。
  • 使用 filter() 链式过滤规则。

使用正则表达式清洗文本格式（手机号、身份证、邮箱）

通常用于从非结构化文本或CSV字段中提取/验证数据。

import java.util.regex.Pattern;
import java.util.ArrayList;
import java.util.List;
public class RegexCleanExample {
    // 预编译正则
    private static final Pattern PHONE_PATTERN = Pattern.compile("^1[3-9]\\d{9}$");
    private static final Pattern EMAIL_PATTERN = Pattern.compile("^[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\\.[a-zA-Z]{2,}$");
    public static void main(String[] args) {
        List<String> rawData = new ArrayList<>();
        rawData.add("13800138000");   // 正确
        rawData.add("123456");        // 太短
        rawData.add("abc@def");       // 无域名后缀
        rawData.add("test@example.com"); // 正确
        rawData.add(" 13800138001 "); // 含空格
        rawData.add(null);            // null
        List<String> cleaned = new ArrayList<>();
        for (String data : rawData) {
            if (data == null) continue;
            String trimmed = data.trim();
            // 判断是手机号还是邮箱
            if (PHONE_PATTERN.matcher(trimmed).matches() || EMAIL_PATTERN.matcher(trimmed).matches()) {
                cleaned.add(trimmed);
            }
        }
        System.out.println("清洗后有效数据: " + cleaned);
    }
}

常见清洗模式：

  • 空格清理：str.trim() 或 str.replaceAll("[\\s]+", "")
  • 特殊符号：str.replaceAll("[^a-zA-Z0-9\\u4e00-\\u9fa5]", "")（保留中文）
  • 统一大小写：str.toLowerCase()

清洗 CSV 文件（读取 → 清洗 → 写出）

使用 OpenCSV 进行文件级清洗是非常常见的场景。

Maven 依赖：

<dependency>
    <groupId>com.opencsv</groupId>
    <artifactId>opencsv</artifactId>
    <version>5.8</version>
</dependency>

代码示例：

import com.opencsv.*;
import java.io.*;
import java.util.*;
public class CsvCleanExample {
    public static void main(String[] args) throws Exception {
        String inputFile = "data.csv";
        String outputFile = "cleaned_data.csv";
        try (
            Reader reader = new FileReader(inputFile);
            Writer writer = new FileWriter(outputFile);
            CSVReader csvReader = new CSVReaderBuilder(reader).withSkipLines(1).build(); // 跳过标题头
            CSVWriter csvWriter = new CSVWriterBuilder(writer).build()
        ) {
            String[] line;
            // 写标题头
            csvWriter.writeNext(new String[]{"姓名", "年龄", "邮箱", "手机号"});
            while ((line = csvReader.readNext()) != null) {
                if (line.length < 4) continue; // 字段不足
                String name = line[0].trim();
                String ageStr = line[1].trim();
                String email = line[2].trim();
                String phone = line[3].trim();
                // 规则清洗
                if (name.isEmpty()) continue;
                int age;
                try {
                    age = Integer.parseInt(ageStr);
                    if (age < 0 || age > 120) continue;
                } catch (NumberFormatException e) {
                    continue; // 年龄非数字
                }
                if (!email.contains("@")) continue;
                if (!phone.matches("^1[3-9]\\d{9}$")) continue;
                csvWriter.writeNext(new String[]{name, String.valueOf(age), email, phone});
            }
        }
        System.out.println("清洗完成，输出至: " + outputFile);
    }
}

复杂清洗 — 填充缺失值与异常值

通常用于数值型数据（如传感器数据、销售数据）。

import java.util.*;
import java.util.stream.*;
public class FillMissingExample {
    public static void main(String[] args) {
        List<Double> readings = Arrays.asList(23.5, null, 25.0, null, -999.0, 24.0, null);
        // 统计有效值的均值（忽略异常值 -999）
        double sum = 0;
        long count = 0;
        for (Double v : readings) {
            if (v != null && v != -999.0) {
                sum += v;
                count++;
            }
        }
        double mean = count > 0 ? sum / count : 0;
        // 清洗：null 或 -999 替换为均值
        List<Double> cleaned = readings.stream()
            .map(v -> {
                if (v == null || v == -999.0) {
                    return mean;
                }
                return v;
            })
            .collect(Collectors.toList());
        System.out.println("原始: " + readings);
        System.out.println("清洗后: " + cleaned);
        System.out.println("填充均值: " + mean);
    }
}

使用 Apache Commons Lang 处理字符串清洗

import org.apache.commons.lang3.StringUtils;
public class StringCleanExample {
    public static void main(String[] args) {
        String raw = "  Hello,  World!!  ";
        // 常用清洗
        String cleaned = raw
            .trim()
            .replaceAll("[^a-zA-Z0-9\\u4e00-\\u9fa5 ]", "")  // 只保留中文、英文、数字、空格
            .replaceAll("\\s+", " ");                  // 多个空格合并为一个
        System.out.println("'" + cleaned + "'");
        // 判断空
        if (StringUtils.isBlank(cleaned)) {
            System.out.println("数据为空");
        }
    }
}

总结与最佳实践

场景 推荐技术
内存中小批量数据 Java 8+ Stream API + 正则
文件（CSV/Excel） OpenCSV / Apache POI + 流式处理
大数据量（千万+） Apache Spark / Flink（Java API），并行清洗
实时数据流 Apache Flink / Kafka Streams
数据质量规则引擎 使用策略模式 + Drools 规则引擎

Java 数据清洗的通用步骤：

  1. 解析：读取原始数据（文件、数据库、消息队列）。
  2. 过滤：剔除 null、空值、非法记录。
  3. 转换：统一格式（日期、大小写、编码）、去除空格、替换异常值。
  4. 验证：正则校验（手机号、邮箱）、范围校验（年龄0-120）。
  5. 去重：基于业务主键或 equals/hashCode。
  6. 写出：输出到清洗后的目标存储。

如果你有具体的场景（如清洗特定的日志格式、金融交易数据），可以提供更多细节，我可以帮你定制更精确的实现方案。

版权声明：NBA直播 NBA直播 NBA直播 NBA直播 NBA直播 NBA直播 NBA直播 NBA直播 NBA直播 NBA直播 NBA直播 NBA直播 NBA直播 NBA直播 NBA直播 NBA直播 NBA直播 NBA直播 CBA直播 CBA直播 CBA直播 CBA直播 CBA直播 CBA直播 CBA直播 CBA直播 CBA直播 CBA直播 CBA直播 CBA直播 CBA直播 CBA直播 CBA直播 CBA直播 CBA直播 CBA直播 足球直播 足球直播 足球直播 足球直播 足球直播 足球直播 足球直播 足球直播 足球直播 足球直播 足球直播 足球直播 足球直播 足球直播 足球直播 足球直播 足球直播 足球直播 英超直播 英超直播 英超直播 英超直播 英超直播 英超直播 英超直播 英超直播 英超直播 英超直播 英超直播 英超直播 英超直播 英超直播 英超直播 英超直播 英超直播 英超直播

上一篇Java案例如何实现数据分析？

下一篇数据同步怎么实现？

相关文章

抱歉，评论功能暂时关闭!

友情链接攻略窝 · 礼包窝 · 配置窝 · 换算窝 · 算法窝 · 查文窝 · 手册窝 · 问答窝 · 全文搜 · 手册库
相关站点礼包窝 · 查文窝