PHP超低內存遍歷目錄文件和讀取超大文件

這不是一篇教程，這是一篇筆記，因此我不會很系統地論述原理和實現，只簡單說明和舉例。

前言

我寫這篇筆記的緣由是如今網絡上關於 PHP 遍歷目錄文件和 PHP 讀取文本文件的教程和示例代碼都是極其低效的，低效就算了，有的甚至好意思說是高效，實在辣眼睛。

這篇筆記主要解決這麼幾個問題：

PHP 如何使用超低內存快速遍歷數以萬計的目錄文件？

PHP 如何使用超低內存快速讀取幾百MB甚至是GB級文件？

順便解決哪天我忘了能夠經過搜索引擎搜到我本身寫的筆記來看看。（由於須要 PHP 寫這兩個功能的狀況真的不多，我記性很差，省得忘了又重走一遍彎路）

遍歷目錄文件

網上關於這個方法的實現大多示例代碼是 glob 或者 opendir + readdir 組合，在目錄文件很少的狀況下是沒問題的，但文件一多就有問題了（這裏是指封裝成函數統一返回一個數組的時候），過大的數組會要求使用超大內存，不只致使速度慢，並且內存不足的時候直接就崩潰了。

這時候正確的實現方法是使用 yield 關鍵字返回，下面是我最近使用的代碼：

<?php

function glob2foreach($path, $include_dirs=false) {
    $path = rtrim($path, '/*');
    if (is_readable($path)) {
        $dh = opendir($path);
        while (($file = readdir($dh)) !== false) {
            if (substr($file, 0, 1) == '.')
                continue;
            $rfile = "{$path}/{$file}";
            if (is_dir($rfile)) {
                $sub = glob2foreach($rfile, $include_dirs);
                while ($sub->valid()) {
                    yield $sub->current();
                    $sub->next();
                }
                if ($include_dirs)
                    yield $rfile;
            } else {
                yield $rfile;
            }
        }
        closedir($dh);
    }
}

// 使用
$glob = glob2foreach('/var/www');
while ($glob->valid()) {
    
    // 當前文件
    $filename = $glob->current();
    
    // 這個就是包括路徑在內的完整文件名了
    // echo $filename;

    // 指向下一個，不能少
    $glob->next();
}

yield 返回的是生成器對象（不瞭解的能夠先去了解一下 PHP 生成器），並無當即生成數組，因此目錄下文件再多也不會出現巨無霸數組的狀況，內存消耗是低到能夠忽略不計的幾十 kb 級別，時間消耗也幾乎只有循環消耗。

讀取文本文件

讀取文本文件的狀況跟遍歷目錄文件其實相似，網上教程基本上都是使用 file_get_contents 讀到內存裏或者 fopen + feof + fgetc 組合即讀即用，處理小文件的時候沒問題，可是處理大文件就有內存不足等問題了，用 file_get_contents 去讀幾百MB的文件幾乎就是自殺。

這個問題的正確處理方法一樣和 yield 關鍵字有關，經過 yield 逐行處理，或者 SplFileObject 從指定位置讀取。

逐行讀取整個文件：

<?php
function read_file($path) {
    if ($handle = fopen($path, 'r')) {
        while (! feof($handle)) {
            yield trim(fgets($handle));
        }
        fclose($handle);
    }
}
// 使用
$glob = read_file('/var/www/hello.txt');
while ($glob->valid()) {
    
    // 當前行文本
    $line = $glob->current();
    
    // 逐行處理數據
    // $line

    // 指向下一個，不能少
    $glob->next();
}

經過 yield 逐行讀取文件，具體使用多少內存取決於每一行的數據量有多大，若是是每行只有幾百字節的日誌文件，即便這個文件超過100M，佔用內存也只是KB級別。

但不少時候咱們並不須要一次性讀完整個文件，好比當咱們想分頁讀取一個1G大小的日誌文件的時候，可能想第一頁讀取前面1000行，第二頁讀取第1000行到2000行，這時候就不能用上面的方法了，由於那方法雖然佔用內存低，可是數以萬計的循環是須要消耗時間的。

這時候，就改用 SplFileObject 處理，SplFileObject 能夠從指定行數開始讀取。下面例子是寫入數組返回，能夠根據本身業務決定要不要寫入數組，我懶得改了。

<?php

function read_file2arr($path, $count, $offset=0) {

    $arr = array();
    if (! is_readable($path))
        return $arr;

    $fp = new SplFileObject($path, 'r');
    
    // 定位到指定的行數開始讀
    if ($offset)
        $fp->seek($offset); 

    $i = 0;
    
    while (! $fp->eof()) {
        
        // 必須放在開頭
        $i++;
        
        // 只讀 $count 這麼多行
        if ($i > $count)
            break;
        
        $line = $fp->current();
        $line = trim($line);

        $arr[] = $line;

        // 指向下一個，不能少
        $fp->next();
    }
    
    return $arr;
}

以上所說的都是文件巨大可是每一行數據量都很小的狀況，有時候狀況不是這樣，有時候是一行數據也有上百MB，那這該怎麼處理呢？

若是是這種狀況，那就要看具體業務了，SplFileObject 是能夠經過 fseek 定位到字符位置（注意，跟 seek 定位到行數不同），而後經過 fread 讀取指定長度的字符。

也就是說經過 fseek 和 fread 是能夠實現分段讀取一個超長字符串的，也就是能夠實現超低內存處理，可是具體要怎麼作仍是得看具體業務要求容許你怎麼作。

複製大文件

順便說下 PHP 複製文件，複製小文件用 copy 函數是沒問題的，複製大文件的話仍是用數據流好，例子以下：

<?php

function copy_file($path, $to_file) {

    if (! is_readable($path))
        return false;

    if(! is_dir(dirname($to_file)))
        @mkdir(dirname($to_file).'/', 0747, TRUE);
    
    if (
        ($handle1 = fopen($path, 'r')) 
        && ($handle2 = fopen($to_file, 'w'))
    ) {

        stream_copy_to_stream($handle1, $handle2);

        fclose($handle1);
        fclose($handle2);
    }
}

最後

我這隻說結論，沒有展現測試數據，可能難以服衆，若是你持懷疑態度想求證，能夠用 memory_get_peak_usage 和 microtime 去測一下代碼的佔用內存和運行時間。

補充：踩坑和修改大文件

這篇筆記是我昨晚睡不着無聊忽然想起來就隨手寫的，今天起來又看了一下，發現有一個巨坑沒提到，雖然說不計劃寫成教程，可是這個巨坑必須提一下。

前面生成器對象循環代碼塊裏最後都有一個 $glob->next(); 代碼，意思是指向下一項，這個相當重要，由於若是沒有了它，下一次循環獲取到的仍是此次的結果。

舉個例子：

有個文本文件裏面有三行文本，分別是 1111十一、22222二、333333 ，當咱們用如下代碼讀取的時候，while 會循環三次，每次 $line 分別對應 1111十一、22222二、333333 。

<?php
// 使用
$glob = read_file('/var/www/hello.txt');
while ($glob->valid()) {
    
    // 當前行文本
    $line = $glob->current();
    
    // 逐行處理數據
    // $line

    // 指向下一個，不能少
    $glob->next();
}

可是，若是沒有 $glob->next(); 這一行，就會致使 $line 始終是讀到第一行 111111 ，會致使死循環或者讀取到的不是預期的數據。

看到這裏你可能會以爲這是廢話，不，不是，理論上不容易出現這個錯誤，可是在實際的編程中咱們可能會使用 continue 跳到下次循環，若是你寫着寫着不記得了，在 $glob->next(); 前面使用 continue 跳到下次循環，就會致使下次循環的 $line 依然是此次的值，致使異常甚至死循環。

要解決這個問題，除了保持編碼警戒性，也能夠修改下 $glob->next(); 的位置。

<?php

// 使用
$glob = read_file('/var/www/hello.txt');
while ($glob->valid()) {
    
    // 當前項
    $line = $glob->current();
    
    // 指向下一個，不能少
    $glob->next();
    
    // 注意，這時已經指向下一項
    // 再使用 $glob->current() 獲取到的就不是 $line 的值了，而是下一項的值了

    // 在這後面你就能夠放心使用 continue 了
    // 可是別忘了讀取當前項只能經過 $line 了
    
    // 逐行處理數據
}

這個坑我是踩過的，無心間使用 continue 致使讀取數據不對。其實出現這種錯誤致使死循環程序崩潰是好事，當即排查能排查出結果，最可怕的是隻讀錯數據，讓人一時半會兒察覺不到。

另外，補充一下修改大文件的要點。

要讀大文件每每會涉及到修改它，若是是從中摘取數據或者大幅度修改，咱們可使用 fopen + fwrite 組合配合生成器對象逐行處理數據以後逐行寫入，這樣效率也是高的，儘可能避免存到變量裏再集中寫入以避免佔用內存爆炸。

<?php

$handle = fopen('/var/www/newhello.txt', 'w');
$glob = read_file('/var/www/hello.txt');
while ($glob->valid()) {
    
    // 當前行文本
    $line = $glob->current();

    // 逐行處理數據
    // 將處理過的寫入新文件
    fwrite($handle, $line . "\n");
    
    // 指向下一個，不能少
    $glob->next();
}
fclose($handle);

若是是修改大文件裏的小細節，這個我還沒作過，不過據我瞭解好像是經過 Stream Functions 的 filter 實現效率比較高。