大文件查找脚本咋写？

wen 实用脚本 2026-06-06 51

大文件查找脚本怎么写？从零到实战的完整指南

📚 目录导读

为什么需要大文件查找脚本？
基础思路：用Python实现大文件查找
进阶优化：支持多种单位与排序
实战案例：Linux Shell脚本版
常见问答与性能建议
总结与扩展

为什么需要大文件查找脚本？

在日常运维或开发工作中,我们经常遇到磁盘空间爆满的问题，手动一个个文件夹翻找大文件既不现实，又浪费时间。大文件查找脚本是每个技术人员的必备工具。

大文件查找脚本咋写？

需求场景：

服务器磁盘告警,需要快速定位占用空间最大的文件
清理临时缓存、日志文件、下载残留等
批量查找超过指定大小的文件（如 > 500MB）

问答1： 用系统自带的 find 命令不就行了吗？答： find 命令虽然强大，但功能有限。

无法输出友好的带单位大小（KB/MB/GB）

不能按大小排序并取前N个

无法在Windows与跨平台间复用脚本化后可以灵活定制输出格式、过滤条件、邮件告警等。

基础思路：用Python实现大文件查找

我们先从最简单的Python版本开始,核心逻辑是：遍历目录 → 判断文件大小 → 过滤 → 输出结果

import os
def find_large_files(start_path, size_limit_mb=100):
    large_files = []
    for root, dirs, files in os.walk(start_path):
        for file in files:
            file_path = os.path.join(root, file)
            try:
                file_size = os.path.getsize(file_path)
                if file_size > size_limit_mb * 1024 * 1024:
                    large_files.append((file_path, file_size))
            except (OSError, PermissionError):
                continue
    return large_files

说明：

os.walk 递归扫描所有子目录
跳过权限错误（如系统保护文件）
返回列表,每个元素为 (路径, 字节大小)

调用示例：

for path, size in find_large_files('/var/log', 500):
    print(f"{path} 占用 {size // (1024*1024)} MB")

进阶优化：支持多种单位与排序

单纯的字节数不够直观,我们增加自动单位转换和按大小降序排序，并限制只显示前N个。

def human_readable_size(bytes):
    for unit in ['B', 'KB', 'MB', 'GB', 'TB']:
        if bytes < 1024:
            return f"{bytes:.2f} {unit}"
        bytes /= 1024
def find_and_sort(start_path, min_size='100MB', top_n=20):
    # 解析最小尺寸
    units = {'KB': 1024, 'MB': 1024**2, 'GB': 1024**3}
    number = float(min_size[:-2])
    unit = min_size[-2:]
    min_bytes = number * units.get(unit, 1024**2)
    result = []
    for root, dirs, files in os.walk(start_path):
        for file in files:
            fp = os.path.join(root, file)
            try:
                sz = os.path.getsize(fp)
                if sz > min_bytes:
                    result.append((fp, sz))
            except:
                continue
    # 排序并取前N
    result.sort(key=lambda x: x[1], reverse=True)
    return result[:top_n]

输出效果：

Path: /data/backup/db.sql      Size: 2.34 GB
Path: /var/log/access.log      Size: 512.78 MB
...

问答2： 扫描大目录（如全盘）会不会很慢？
答：会的，尤其机械硬盘或网络挂载，优化策略：

使用 skip_dirs 参数跳过系统文件夹（如 /proc、/sys）

对 os.walk 使用 topdown=True 并动态剪枝

多线程扫描不同子目录（但要小心I/O瓶颈）

实战案例：Linux Shell脚本版

如果你的环境是Linux,且不需要跨平台，Shell脚本更轻量：

#!/bin/bash
# 查找大于指定大小的文件，按大小排序
search_path=${1:-/}
min_size=${2:-100M}
top_n=${3:-20}
echo "正在扫描 $search_path 中大于 $min_size 的文件..."
find "$search_path" -type f -size +"$min_size" -exec ls -lh {} \; 2>/dev/null \
| sort -k5 -h -r \
| head -n "$top_n"

参数说明：

$1：搜索路径（默认根目录）
$2：最小尺寸（如 500M, 1G）
$3：显示前几条

注意： sort -k5 -h 表示按第5列（文件大小）进行人类可读的排序，但注意 ls -lh 输出的格式在不同系统中可能有差异，更适合用 du 命令替代。

更稳定的Shell版本：

find / -type f -size +100M -print0 2>/dev/null | xargs -0 du -h | sort -rh | head -20

常见问答与性能建议

问答3： 脚本总提示权限不足怎么办？
答：使用 sudo 运行，或者在Python中捕获 PermissionError（如上面代码所示），Shell脚本可以追加 2>/dev/null 忽略错误。

问答4： 如何在Windows下运行？
答：推荐使用Python跨平台方案，Windows版Python同样支持 os.walk，但盘符要写成 C:/ 或 D:/，如果追求原生，可以用PowerShell：

Get-ChildItem -Path C:\ -Recurse -File | Where-Object {$_.Length -gt 100MB} | Sort-Object Length -Descending | Select-Object -First 20

性能建议： | 场景 | 推荐方案 | |------|---------| | 快速查几个目录 | du -sh + ls 手动 | | 服务器批量清理 | Shell + find + xargs | | 跨平台/定制化 | Python脚本 | | 定期巡检+告警 | Python + 邮件模块 + cron |