PHP读取大文件性能

本文目录导读：

1. 使用 fopen() + fgets() 逐行读取（最推荐）
2. 使用 SplFileObject（面向对象方式）
3. 流式读取固定大小块
4. 使用 file() 函数（不推荐大文件）
5. 高级优化：分块处理 + 生成器
6. 性能对比测试
7. 最佳实践配置
8. 性能优化建议
9. 内存对比
10. 实际使用示例：处理CSV大文件

在PHP中读取大文件时,性能优化是关键，以下是几种高效方法，从最优到一般：

使用 fopen() + fgets() 逐行读取（最推荐）

$handle = fopen('large_file.txt', 'r');
if ($handle) {
    while (($line = fgets($handle)) !== false) {
        // 处理每一行
        processLine($line);
    }
    fclose($handle);
}

优点：

• 内存占用最小（只保留当前行）
• 处理1GB文件内存占用< 1MB
• 性能稳定

使用 SplFileObject（面向对象方式）

$file = new SplFileObject('large_file.txt');
$file->setFlags(SplFileObject::DROP_NEW_LINE);
while (!$file->eof()) {
    $line = $file->fgets();
    // 处理逻辑
}

流式读取固定大小块

$handle = fopen('large_file.bin', 'rb');
$chunkSize = 8192; // 8KB chunks
while (!feof($handle)) {
    $data = fread($handle, $chunkSize);
    processChunk($data);
}
fclose($handle);

使用 file() 函数（不推荐大文件）

// 警告：会一次性加载整个文件到内存
$lines = file('large_file.txt'); // 内存爆炸风险

高级优化：分块处理 + 生成器

function readLines($filePath) {
    $handle = fopen($filePath, 'r');
    while (!feof($handle)) {
        yield fgets($handle);
    }
    fclose($handle);
}
foreach (readLines('large_file.txt') as $line) {
    // 处理每行
    processLine($line);
}

性能对比测试

// 测试1: 处理500MB文件
function benchmarkFileRead($filePath) {
    $start = microtime(true);
    $memoryStart = memory_get_usage();
    // 方法1: fgets
    $handle = fopen($filePath, 'r');
    $lines = 0;
    while (($line = fgets($handle)) !== false) {
        $lines++;
    }
    fclose($handle);
    $timeUsed = microtime(true) - $start;
    $memoryUsed = memory_get_usage() - $memoryStart;
    echo "处理 {$lines} 行，耗时: {$timeUsed}s, 内存增加: {$memoryUsed} bytes\n";
}

最佳实践配置

class LargeFileProcessor {
    private $filePath;
    private $chunkSize;
    public function __construct($filePath, $chunkSize = 8192) {
        $this->filePath = $filePath;
        $this->chunkSize = $chunkSize;
    }
    public function process($callback) {
        $handle = fopen($this->filePath, 'rb');
        while (!feof($handle)) {
            $data = fread($handle, $this->chunkSize);
            if ($data !== false) {
                $callback($data);
            }
        }
        fclose($handle);
    }
    public function processByLine($callback) {
        $handle = fopen($this->filePath, 'r');
        while (($line = fgets($handle)) !== false) {
            $callback($line);
        }
        fclose($handle);
    }
}
// 使用
$processor = new LargeFileProcessor('data.csv');
$processor->processByLine(function($line) {
    // 逐行处理
});

性能优化建议

1. 调整内存限制（适合批量处理）

   ini_set('memory_limit', '256M'); // 根据实际需求设置

2. 使用缓冲流

   // 增加流缓存
   $handle = fopen($filePath, 'r');
   stream_set_read_buffer($handle, 8192); // 8KB缓冲

3. 二进制模式（对二进制文件）

   $handle = fopen($filePath, 'rb'); // 'b'表示二进制模式

4. 并行处理（适合多核CPU）

   // 使用pcntl_fork或者popen并行处理分片

内存对比

实际使用示例：处理CSV大文件

function processLargeCSV($csvPath) {
    $handle = fopen($csvPath, 'r');
    // 跳过表头
    fgetcsv($handle, 1000);
    $processed = 0;
    while (($row = fgetcsv($handle, 1000)) !== false) {
        // 处理每一行数据
        processCSVRow($row);
        $processed++;
    }
    fclose($handle);
    echo "处理了 {$processed} 行数据\n";
}

• 对于文本文件：使用 fgets() 逐行读取
• 对于二进制文件：使用 fread() 分块读取
• 避免使用 file() 或 file_get_contents() 加载大文件
• 根据业务需求选择合适的块大小（通常8KB-64KB最优）