PHP利用PDO從mysql讀取大量數據處理（可作大量數據集的導出，業務調整等）

環境

mysql: 5.6.34
php: 5.6
nginx: php-fpm

適用場景

須要處理必定數據集業務

1. 從mysql讀取必定數據的業務導出
2. 一次須要處理必定的mysql業務操做更新刪除等
3. 更多須要處理必定數據集的操做

pdo 關鍵設置

$dbh = new \PDO($dsn, $user, $pass);
# 關鍵設置，若是不設置，php依舊會從pdo一次取出數據到php
$dbh->setAttribute(\PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
//perpare裏的遊標屬性不是必須的
$sth = $dbh->prepare("SELECT * FROM `order`", array(\PDO::ATTR_CURSOR => \PDO::CURSOR_SCROLL));
$sth->execute();

生成器

生成器，迭代數據操做
本生成器可省略

嘗試代碼

class Test {
    public function test()
    {
        set_time_limit(0);
        $dbms='mysql';     //數據庫類型
        $host=C('DB_HOST'); //數據庫主機名
        $dbName=C('DB_NAME');    //使用的數據庫
        $user=C('DB_USER');      //數據庫鏈接用戶名
        $pass=C('DB_PWD');          //對應的密碼
        $dsn="$dbms:host=$host;dbname=$dbName";
        $dbh = new \PDO($dsn, $user, $pass);
        $dbh->setAttribute(\PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
        $sth = $dbh->prepare("SELECT * FROM `order`");
        $sth->execute();
        $i = 0;

        $newLine = PHP_SAPI == 'cli' ? "\n" : '<br />';

        foreach ($this->cursor($sth) as $row) {
//            var_dump($row);
            echo $row['id'] . $newLine;
            $i++;
        }

        echo "消耗內存：" . (memory_get_usage() / 1024 / 1024) . "M" . $newLine;
        echo "處理數據行數：" . $i . $newLine;
        echo "success";
    }

    public function cursor($sth)
    {
        while($row = $sth->fetch(\PDO::FETCH_ASSOC)) {
            yield $row;
        }
    }
}

$test = new Test();
$test->test();

輸出

1
... //省略部分id
804288
消耗內存："0.34918212890625M
處理數據行數：254062
success