Python文件遍历案例：如何高效读取多行数据的完整指南
目录导读
- 为什么需要理解Python文件遍历与多行读取？
- 基础方法：使用
readlines()与readline()的区别 - 进阶技巧：
for循环逐行读取的三种模式 - 实战案例：遍历目录下所有文本文件并读取多行
- 性能优化：大文件多行读取的内存管理
- 常见错误与修复方案
- 问答环节：解决读者最常遇到的5个问题
- 核心代码模板与最佳实践
为什么需要理解Python文件遍历与多行读取？
在处理日志分析、配置文件解析、数据清洗等任务时，Python文件遍历是基础且高频的操作，许多开发者只掌握了简单的open().read()，但面对以下场景时就会陷入困境：
- 需要从100个日志文件中提取多行错误信息
- 要跳过文件头部注释,只读取数据部分
- 处理超过1GB的大文件,避免内存溢出
本文将通过真实案例，带您掌握从单文件到多目录、从简单读取到性能优化的完整技能链。
基础方法：readlines()与readline()的区别
1 readlines()：一次性读取所有行
with open('data.txt', 'r', encoding='utf-8') as f:
lines = f.readlines() # 返回列表，每行一个元素
适用场景：小文件（<100MB），需要立即访问所有行。 缺点：大文件会耗尽内存。
2 readline()：逐行读取，节省内存
with open('data.txt', 'r') as f:
line = f.readline()
while line:
process(line) # 处理当前行
line = f.readline()
注意：readline()包含换行符\n，需用strip()清除。
3 实际案例对比
假设有一个5GB的日志文件,使用readlines()会导致MemoryError，而readline()可以在毫秒级内开始处理第一行。
进阶技巧：for循环逐行读取的三种模式
1 标准模式（推荐）
with open('server.log') as f:
for line in f: # 最优雅的方式
if 'ERROR' in line:
print(line.strip())
优势：Python自动管理缓冲区，内存占用极低。
2 带行号读取
for idx, line in enumerate(open('config.ini'), start=1):
if idx <= 5: # 跳过前5行
continue
# 处理剩余行
3 多行连续读取（提取段落）
def read_paragraphs(filepath):
with open(filepath) as f:
paragraph = []
for line in f:
if line.strip(): # 非空行
paragraph.append(line)
else:
yield ' '.join(p.strip() for p in paragraph)
paragraph = []
if paragraph:
yield ' '.join(p.strip() for p in paragraph)
应用：读取SQL脚本、Markdown文档中的段落。
实战案例：遍历目录下所有文本文件并读取多行
1 实现目标
从/var/log/app/目录下所有.log文件中，提取包含“CRITICAL”关键字的连续3行上下文。
2 完整代码
import os
from pathlib import Path
def extract_critical_context(directory='./logs', keyword='CRITICAL', context_lines=3):
# 使用pathlib遍历目录（比os.walk更简洁）
for filepath in Path(directory).rglob('*.log'):
with open(filepath, 'r', errors='ignore') as f:
buffer = [] # 存储最近context_lines行
for line in f:
buffer.append(line)
if len(buffer) > context_lines + 1: # 多存一行用于检测关键字
buffer.pop(0)
if keyword in line:
# 输出文件名和上下文
print(f"--- {filepath.name} ---")
for ctx in buffer[-context_lines-1:-1]:
print(ctx.strip())
# 包括关键字行本身
print(line.strip() + "\n")
buffer.clear() # 避免重复匹配
3 代码亮点
- 使用
Path.rglob()替代os.walk()，路径处理更直观 - 滑动窗口缓冲区,内存占用恒定为
context_lines+1行 errors='ignore'处理编码异常
性能优化：大文件多行读取的内存管理
1 使用mmap内存映射
import mmap
with open('huge_file.csv', 'r') as f:
with mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ) as mm:
for line in iter(mm.readline, b''):
# 处理二进制行，需decode
process(line.decode('utf-8'))
适用：20GB+文件，相比普通读取快30%-50%。
2 分块读取与并行处理
from concurrent.futures import ThreadPoolExecutor
def chunk_reader(filepath, chunk_size=1024*1024):
with open(filepath, 'r') as f:
while True:
chunk = f.read(chunk_size)
if not chunk:
break
# 按换行符分割处理
lines = chunk.split('\n')
# 最后一行可能不完整，暂存到下次
yield lines
# 多线程处理
with ThreadPoolExecutor(max_workers=4) as executor:
for result in executor.map(process_single_chunk, chunk_reader('big.csv')):
# 合并结果
pass
常见错误与修复方案
| 错误现象 | 原因 | 解决方案 |
|---|---|---|
UnicodeDecodeError |
文件编码非UTF-8 | 使用encoding='latin-1'或检测编码chardet |
| 内存飙升 | readlines()大文件 |
改用for line in f |
| 读取不全 | 文件被占用 | 使用io.open加锁或捕捉PermissionError |
| 乱码处理 | BOM头干扰 | encoding='utf-8-sig'自动跳过BOM |
问答环节：解决读者最常遇到的5个问题
Q1：如何读取文件的第3到第10行？
with open('file.txt') as f:
for idx, line in enumerate(f, 1):
if 3 <= idx <= 10:
print(line)
Q2：读取多个文件时如何保持状态？
使用itertools.chain或自定义迭代器，在函数外维护全局计数器。
Q3：如何处理文件中包含空行的多行记录？
见本文第3节的read_paragraphs函数。
Q4：for line in f是否比readline()快？
是的,for line in f基于迭代器，底层用C实现缓冲区管理，通常快20%。
Q5：跨平台文件路径如何处理？
务必使用os.path.join或pathlib.Path，避免硬编码分隔符。
核心代码模板与最佳实践
1 通用多文件多行读取模板
from pathlib import Path
def smart_file_reader(path_pattern, encoding='utf-8', skip_blank=True):
"""智能文件遍历器，支持glob模式"""
for filepath in Path().glob(path_pattern):
with open(filepath, 'r', encoding=encoding) as f:
for line in f:
if skip_blank and not line.strip():
continue
yield filepath.name, line
2 最佳实践清单
- ✅ 始终使用
with语句管理文件句柄 - ✅ 小文件用
readlines()，大文件用for line in f - ✅ 处理二进制文件时使用
'rb'模式 - ✅ 用
pathlib替换os.path进行路径操作 - ✅ 关键数据加上
try/except处理编码异常
掌握Python文件遍历与多行读取的核心技巧,能显著提升数据处理效率，从逐行读取到目录递归，从内存优化到并行处理，本文提供的案例代码可直接复用于生产环境，实际项目中建议先评估文件大小，再选择最优方案——这往往比代码写法本身更重要。
