脚本如何提取重复内容

wen 实用脚本 2026-06-29 27

从原理到自动化去重

目录导读

提取的核心痛点 – 为什么需要自动化脚本？
脚本去重技术原理 – 基于哈希、模糊匹配与NLP的三种方法
四步实现精准提取 – 从原始数据到清洗结果的完整流程
实战案例 – 爬虫数据去重、文本段落去重、CSV重复行处理
常见问题与优化技巧 – 内存优化、性能调优与误判处理
问答环节 – 解决你最关心的5个去重难题

提取的核心痛点

在数据采集、内容聚合或日志分析中，重复内容往往是降低数据质量的最大元凶，爬虫采集的网页标题、用户评论、新闻摘要中，常出现完全相同或语义相似的片段，手动去重既耗时又容易遗漏,而脚本化提取能实现：

脚本如何提取重复内容

精确重复：完全相同的字符串或行（如错误日志）
近似重复：仅修改了几个字的段落（如伪原创文章）
结构重复：相同模板但内容不同的数据（如产品详情页）

脚本去重技术原理

1 基于哈希的精确去重（最快）

技术：对每个文本生成MD5/SHA-1哈希值，存储到Set中
适用场景：完全一致的字符串（如日志行、URL）

代码示例：

def exact_dedup(texts):
    seen = set()
    for t in texts:
        h = hash(t)  # 或 hashlib.md5(t.encode()).hexdigest()
        if h not in seen:
            seen.add(h)
            yield t

2 基于MinHash的近似去重（平衡速度与精度）

技术：将文本拆分为Shingle（n-gram），通过MinHash计算Jaccard相似度
适用场景：相似但非完全相同的文章（如洗稿内容）
阈值设置：通常相似度>0.8视为重复

3 基于TF-IDF+余弦相似度的语义去重（最精准）

技术：提取关键词向量，计算余弦相似度
适用场景：长文本或需要理解语义的场景
注意：计算量较大，适合小规模数据（<1万条）

四步实现精准提取

第一步：数据清洗与标准化

去除HTML标签、多余空格、特殊字符
统一大小写、全半角符号
示例：text = re.sub(r'<[^>]+>', '', text).strip()

第二步：选择去重策略

数据类型	推荐策略	速度	精度
短文本(标题)	哈希精确去重	极快	100%
中文本(段落)	MinHash	快	90%-95%
长文本(文章)	余弦相似度	慢	95%+

第三步：执行去重脚本

以Python为例，处理CSV文件中“内容”列的近似重复：

from datasketch import MinHash, MinHashLSH
def minhash_dedup(texts, threshold=0.8):
    lsh = MinHashLSH(threshold=threshold)
    results = []
    for i, text in enumerate(texts):
        m = MinHash()
        for d in set(text.split()):  # 用词级Shingle
            m.update(d.encode('utf-8'))
        if not lsh.query(m):  # 无相似项则添加
            lsh.insert(i, m)
            results.append(text)
    return results