PHP如何在兩個大文件中找出相同的記錄?

引言

給定a，b兩個文件, 分別有x，y行數據, 其中(x, y均大於10億), 機器內存限制100M，該如何找出其中相同的記錄? php

思路

處理該問題的困難主要是沒法將這海量數據一次性讀內內存中.算法
一次性讀不進內存中，那麼是否能夠考慮屢次呢？若是能夠，那麼屢次讀入要怎麼計算相同的值呢？數組
咱們能夠用分治思想，大而化小。相同字符串的值hash事後是相等的, 那麼咱們能夠考慮使用hash取模, 將記錄分散到n個文件中。這個n怎麼取呢？ PHP 100M內存，數組大約能夠存100w的數據, 那麼按a,b記錄都只有10億行來算, n至少要大於200。服務器
此時有200個文件，相同的記錄確定在同一個文件中，而且每一個文件均可以所有讀進內存。那麼能夠依次找出這200個文件中各自相同的記錄，而後輸出到同一個文件中，獲得的最終結果就是a, b兩個文件中相同的記錄。函數
找一個小文件中相同的記錄很簡單了吧，將每行記錄做爲hash表的key, 統計key的出現次數>=2就能夠了。測試

實操

10億各文件太大了，實操浪費時間，達到實踐目的便可。spa

問題規模縮小爲: 1M內存限制, a, b各有10w行記錄, 內存限制能夠用PHP的ini_set('memory_limit', '1M');來限制。code

生成測試文件

生成隨機數用於填充文件:內存

/** * 生成隨機數填充文件 * Author: ClassmateLin * Email: classmatelin.site@gmail.com * Site: https://www.classmatelin.top * @param string $filename 輸出文件名 * @param int $batch 按多少批次生成數據 * @param int $batchSize 每批數據的大小 */
function generate(string $filename, int $batch=1000, int $batchSize=10000)
{ 
    for ($i=0; $i<$batch; $i++) { 
        $str = '';
        for ($j=0; $j<$batchSize; $j++) { 
            $str .= rand($batch, $batchSize) . PHP_EOL; // 生成隨機數
        }
        file_put_contents($filename, $str, FILE_APPEND);  // 追加模式寫入文件
    }
}

generate('a.txt', 10);
generate('b.txt', 10);

分割文件

將a.txt, b.txt經過hash取模的方式分割到n個文件中.

/**
 * 用hash取模方式將文件分散到n個文件中
 * Author: ClassmateLin
 * Email: classmatelin.site@gmail.com
 * Site: https://www.classmatelin.top
 * @param string $filename 輸入文件名
 * @param int $mod 按mod取模
 * @param string $dir 文件輸出目錄
 */
function spiltFile(string $filename, int $mod=20, string $dir='files')
{
    if (!is_dir($dir)){
        mkdir($dir);
    }

    $fp = fopen($filename, 'r');

    while (!feof($fp)){
        $line = fgets($fp);
        $n = crc32(hash('md5', $line)) % $mod; // hash取模
        $filepath = $dir . '/' . $n . '.txt';  // 文件輸出路徑
        file_put_contents($filepath, $line, FILE_APPEND); // 追加模式寫入文件
    }

    fclose($fp);
}

spiltFile('a.txt');
spiltFile('b.txt');

執行splitFile函數, 獲得以下圖files目錄的20個文件。

查找重複記錄

如今須要查找20個文件中相同的記錄, 其實也就是找一個文件中的相同記錄，操做個20次。md5

找一個文件中的相同記錄:

/**
 * 查找一個文件中相同的記錄輸出到指定文件中
 * Author: ClassmateLin
 * Email: classmatelin.site@gmail.com
 * Site: https://www.classmatelin.top
 * @param string $inputFilename 輸入文件路徑
 * @param string $outputFilename 輸出文件路徑
 */
function search(string $inputFilename, $outputFilename='output.txt')
{
    $table = [];
    $fp = fopen($inputFilename, 'r');

    while (!feof($fp))
    {
        $line = fgets($fp);
        !isset($table[$line]) ? $table[$line] = 1 : $table[$line]++; // 未設置的值設1，不然自增
    }

    fclose($fp);

    foreach ($table as $line => $count)
    {
        if ($count >= 2){ // 出現大於2次的則是相同的記錄，輸出到指定文件中
            file_put_contents($outputFilename, $line, FILE_APPEND);
        }
    }
}

找出全部文件相同記錄:

/**
 * 從給定目錄下文件中分別找出相同記錄輸出到指定文件中
 * Author: ClassmateLin
 * Email: classmatelin.site@gmail.com
 * Site: https://www.classmatelin.top
 * @param string $dirs 指定目錄
 * @param string $outputFilename 輸出文件路徑
 */
function searchAll($dirs='files', $outputFilename='output.txt')
{
    $files = scandir($dirs);

    foreach ($files as $file)
    {
        $filepath = $dirs . '/' . $file;
        if (is_file($filepath)){
            search($filepath, $outputFilename);
        }
    }
}

到這裏已經解決了大文件處理的空間問題，那麼時間問題該如何處理? 單機可經過利用CPU的多核心處理，不夠的話經過多臺服務器處理。

完整代碼

<?php
ini_set('memory_limit', '1M'); // 內存限制1M

/**
 * 生成隨機數填充文件
 * Author: ClassmateLin
 * Email: classmatelin.site@gmail.com
 * Site: https://www.classmatelin.top
 * @param string $filename 輸出文件名
 * @param int $batch 按多少批次生成數據
 * @param int $batchSize 每批數據的大小
 */
function generate(string $filename, int $batch=1000, int $batchSize=10000)
{
    for ($i=0; $i<$batch; $i++) {
        $str = '';
        for ($j=0; $j<$batchSize; $j++) {
            $str .= rand($batch, $batchSize) . PHP_EOL; // 生成隨機數
        }
        file_put_contents($filename, $str, FILE_APPEND);  // 追加模式寫入文件
    }
}




/**
 * 用hash取模方式將文件分散到n個文件中
 * Author: ClassmateLin
 * Email: classmatelin.site@gmail.com
 * Site: https://www.classmatelin.top
 * @param string $filename 輸入文件名
 * @param int $mod 按mod取模
 * @param string $dir 文件輸出目錄
 */
function spiltFile(string $filename, int $mod=20, string $dir='files')
{
    if (!is_dir($dir)){
        mkdir($dir);
    }

    $fp = fopen($filename, 'r');

    while (!feof($fp)){
        $line = fgets($fp);
        $n = crc32(hash('md5', $line)) % $mod; // hash取模
        $filepath = $dir . '/' . $n . '.txt';  // 文件輸出路徑
        file_put_contents($filepath, $line, FILE_APPEND); // 追加模式寫入文件
    }

    fclose($fp);
}




/**
 * 查找一個文件中相同的記錄輸出到指定文件中
 * Author: ClassmateLin
 * Email: classmatelin.site@gmail.com
 * Site: https://www.classmatelin.top
 * @param string $inputFilename 輸入文件路徑
 * @param string $outputFilename 輸出文件路徑
 */
function search(string $inputFilename, $outputFilename='output.txt')
{
    $table = [];
    $fp = fopen($inputFilename, 'r');

    while (!feof($fp))
    {
        $line = fgets($fp);
        !isset($table[$line]) ? $table[$line] = 1 : $table[$line]++; // 未設置的值設1，不然自增
    }

    fclose($fp);

    foreach ($table as $line => $count)
    {
        if ($count >= 2){ // 出現大於2次的則是相同的記錄，輸出到指定文件中
            file_put_contents($outputFilename, $line, FILE_APPEND);
        }
    }
}

/**
 * 從給定目錄下文件中分別找出相同記錄輸出到指定文件中
 * Author: ClassmateLin
 * Email: classmatelin.site@gmail.com
 * Site: https://www.classmatelin.top
 * @param string $dirs 指定目錄
 * @param string $outputFilename 輸出文件路徑
 */
function searchAll($dirs='files', $outputFilename='output.txt')
{
    $files = scandir($dirs);

    foreach ($files as $file)
    {
        $filepath = $dirs . '/' . $file;
        if (is_file($filepath)){
            search($filepath, $outputFilename);
        }
    }
}

// 生成文件
generate('a.txt', 10);
generate('b.txt', 10);

// 分割文件
spiltFile('a.txt');
spiltFile('b.txt');

// 查找記錄
searchAll('files', 'output.txt');

title: PHP如何在兩個大文件中找出相同的記錄?
date: 2021-04-20 22:07:39
tags:
- 海量數據處理算法
- PHP
categories:
- 海量數據處理算法

引言

給定a，b兩個文件, 分別有x，y行數據, 其中(x, y均大於10億), 機器內存限制100M，該如何找出其中相同的記錄?

思路

處理該問題的困難主要是沒法將這海量數據一次性讀內內存中.
一次性讀不進內存中，那麼是否能夠考慮屢次呢？若是能夠，那麼屢次讀入要怎麼計算相同的值呢？
咱們能夠用分治思想，大而化小。相同字符串的值hash事後是相等的, 那麼咱們能夠考慮使用hash取模, 將記錄分散到n個文件中。這個n怎麼取呢？ PHP 100M內存，數組大約能夠存100w的數據, 那麼按a,b記錄都只有10億行來算, n至少要大於200。
此時有200個文件，相同的記錄確定在同一個文件中，而且每一個文件均可以所有讀進內存。那麼能夠依次找出這200個文件中各自相同的記錄，而後輸出到同一個文件中，獲得的最終結果就是a, b兩個文件中相同的記錄。
找一個小文件中相同的記錄很簡單了吧，將每行記錄做爲hash表的key, 統計key的出現次數>=2就能夠了。

實操

10億各文件太大了，實操浪費時間，達到實踐目的便可。

問題規模縮小爲: 1M內存限制, a, b各有10w行記錄, 內存限制能夠用PHP的ini_set('memory_limit', '1M');來限制。