怎样实现图片去重脚本

wen 实用脚本 2026-07-01 29

从原理到实战，彻底告别重复图片

目录导读

为什么需要图片去重？——解决存储与效率痛点
图片去重的核心原理：感知哈希算法详解
三种主流实现方式：Python脚本、现成工具、云端API
实战：手写一个图片去重脚本（含完整代码）
Q&A：高频问题解答与避坑指南
结语与扩展建议

为什么需要图片去重？

在日常工作中,你是否遇到过以下场景：

怎样实现图片去重脚本

从手机、相机、微信等多个渠道备份照片，发现大量重复图片
网站素材库中，同一张图片被不同设计师重复上传
爬虫抓取数据时，页面包含相同图片的不同尺寸或水印版本
硬盘里存了上百G的“新建文件夹(2)”和“微信图片_2019”

根据研究，普通用户手机中平均有15%-25%的图片是重复或高度相似的，对于企业和开发者，重复图片不仅浪费存储成本，还会导致检索效率下降、数据集训练出错等问题。

图片去重脚本的核心价值：通过自动化算法，快速识别内容相同或高度相似的图片，并支持删除、移动或标记重复项。

图片去重核心原理：感知哈希算法

想要实现图片去重，必须理解感知哈希（Perceptual Hashing，简称pHash），它不同于MD5这种基于文件二进制内容的哈希，而是基于图像视觉特征生成“指纹”。

工作流程（以最常用的pHash为例）：

缩小尺寸：将图片统一缩放到8x8像素（64个像素点），用于消除不同尺寸、比例带来的差异
简化色彩：将图片转为灰度图，仅保留亮度信息（去色板差异）
计算像素平均值：算出这64个像素点的亮度平均值
生成哈希值：遍历每个像素，高于平均值的标记为1，低于平均值的标记为0，最终得到一个64位的二进制字符串（如“101010100101...”）
比较：计算两张图片哈希值的汉明距离（不同位数），距离越小，相似度越高；通常阈值设为5-10,大于该值的视为不同图片。

注意：这种方法可以识别经过缩放、旋转、轻微裁剪、添加水印、改变亮度/对比度的重复图片，但不适用于彻底改变构图（如翻页、换物体）的图片。

其他常用算法对比：

算法	速度	抗干扰性	适用场景
Average Hash (aHash)	最快	一般	无修改的完全重复图
Perceptual Hash (pHash)	适中	强	有缩放、水印、调色的相似图
Difference Hash (dHash)	快	中等	梯度变化明显的图片
深度学习嵌入	慢	最强	复杂场景（如不同角度拍的同一物体）

对于大多数去重需求，pHash是最佳平衡点。

三种主流实现方式

Python脚本（推荐）

适合人群：开发人员、有Python环境的管理员优点：可控性强，可自定义阈值，支持批量处理缺点：需基础编程能力

现成桌面工具

适合人群：普通用户优点：无需代码，图形化界面，一键去重缺点：功能固定，无法处理100万+级别的超大量图片

典型工具如：Duplicate Photo Finder（Windows/Mac）、Similar Images Finder（全平台）、Cisdem Duplicate Finder（Mac）。

云端API服务

适合人群：需要大规模、高精度去重的企业优点：无服务器压力，算法先进缺点：按量收费，受网络限制

AWS Rekognition、Google Cloud Vision、百度AI图像去重。

实战：手写一个图片去重脚本（Python）

下面是一个完整的去重脚本，结合了pHash实现，我已经在搜索引擎中综合了多篇优质教程,进行了去伪存真和优化。

环境准备

pip install pillow imagehash

完整代码

import os
import shutil
from PIL import Image
import imagehash
# 配置参数
SOURCE_DIR = "./images"       # 待处理图片文件夹
DEST_DIR = "./duplicates"     # 重复图片移动到此文件夹
THRESHOLD = 8                 # 汉明距离阈值（越小判断越严格）
def get_image_hashes(folder):
    """扫描文件夹，返回图片路径与哈希值的字典"""
    hash_dict = {}
    supported_formats = ('.jpg', '.jpeg', '.png', '.webp', '.bmp', '.tiff')
    for root, dirs, files in os.walk(folder):
        for file in files:
            if not file.lower().endswith(supported_formats):
                continue
            filepath = os.path.join(root, file)
            try:
                with Image.open(filepath) as img:
                    # 使用perceptual hash (pHash)
                    phash = imagehash.phash(img)
                    hash_dict[phash] = hash_dict.get(phash, []) + [filepath]
            except Exception as e:
                print(f"⚠️ 无法处理 {filepath}: {e}")
    return hash_dict
def find_duplicates(hash_dict):
    """通过哈希比较，找出重复组（汉明距离小于阈值的归为一组）"""
    duplicate_groups = []
    hashes_list = list(hash_dict.keys())
    for i in range(len(hashes_list)):
        for j in range(i+1, len(hashes_list)):
            distance = hashes_list[i] - hashes_list[j]  # 汉明距离
            if distance <= THRESHOLD:
                # 合并两个哈希对应的图片列表
                group = set(hash_dict[hashes_list[i]] + hash_dict[hashes_list[j]])
                duplicate_groups.append(group)
    return duplicate_groups
def move_duplicates(groups, dest_dir):
    """将每组中的多余图片移动到目标文件夹"""
    if not os.path.exists(dest_dir):
        os.makedirs(dest_dir)
    moved_count = 0
    for group in groups:
        group_list = list(group)
        # 保留第一张（原版），其余视为重复
        for filepath in group_list[1:]:
            try:
                dest_path = os.path.join(dest_dir, os.path.basename(filepath))
                shutil.move(filepath, dest_path)
                print(f"✅ 移动重复图片: {filepath} -> {dest_path}")
                moved_count += 1
            except Exception as e:
                print(f"❌ 移动失败 {filepath}: {e}")
    return moved_count
if __name__ == "__main__":
    print("🔍 正在计算所有图片的哈希值...")
    hash_dict = get_image_hashes(SOURCE_DIR)
    print(f"📊 共发现 {len(hash_dict)} 个唯一哈希")
    print("🔁 正在比对相似图片...")
    duplicate_groups = find_duplicates(hash_dict)
    print(f"🔗 发现 {len(duplicate_groups)} 组重复图片")
    if duplicate_groups:
        confirm = input("确认移动重复图片？(y/n): ")
        if confirm.lower() == 'y':
            moved = move_duplicates(duplicate_groups, DEST_DIR)
            print(f"✅ 完成！共移动了 {moved} 张重复图片到 {DEST_DIR}")
    else:
        print("✨ 未发现重复图片")