PHP導出超大的CSV格式的Excel表方案

場景和痛點

說明

咱們工做場景都常會導出相關的excel數據，有時候須要大量的數據，10W，100W都有可能

咱們現有方案都是直接利用phpexcel等類庫來操做，phpexcel的load加載或是寫入一次導出會遇到超時內存和時間限制問題，就算咱們ini_set依舊不是最好的方案

下面咱們利用php輸出csv，把數據依次輸出清空再輸出的方式到輸出終端（瀏覽器訪問就是瀏覽器輸出）

編寫過程

說明

關鍵具體在代碼裏註釋

代碼

<?php
/**
 * Created by PhpStorm.
 * User: qkl
 * Date: 2018/7/11
 * Time: 13:28
 */
ini_set('display_errors', 1);
//error_reporting(E_ALL);

function convert($size)
{
    $unit = array('b', 'kb', 'mb', 'gb', 'tb', 'pb');
    return @round($size / pow(1024, ($i = floor(log($size, 1024)))), 2) . ' ' . $unit[$i];
}

header('Content-Type: application/vnd.ms-excel');
header('Content-Disposition: attachment;filename=xxxxxxxxx.csv');
header('Cache-Control: max-age=0');

set_time_limit(0);   // 設置腳本最大執行時間 爲0
//ini_set('memory_limit','200M');    // 臨時設置最大內存佔用

//關閉緩衝區
$flag = ob_end_clean();
if (!$flag) {
    die("關閉緩衝區錯誤");
}

$startTime = microtime(true);

//$status = ob_get_status();
//file_put_contents("11.log", var_export($status, 1).PHP_EOL, 8);

// 打開PHP文件句柄，php://output 表示直接輸出到瀏覽器
$fp = fopen('php://output', 'a');

$column_name = ["XXX", "XXX", "XXX", "XXX", "XXX", "XXX", "XXX", "XXX", "XXX", "XXX"];
// 將中文標題轉換編碼，不然亂碼
foreach ($column_name as $i => $v) {
    $column_name[$i] = iconv('utf-8', 'GBK', $v);
}

// 將標題名稱經過fputcsv寫到文件句柄
fputcsv($fp, $column_name);

$export_data = [];
for ($i = 0; $i < 10; $i++) {
    foreach (range(1, 100000) as $k => $v) {
        $export_data[] = [
            "XXX" . $v, "XXX" . $v, "XXX" . $v, "XXX" . $v, "XXX" . $v, "XXX" . $v, "XXX" . $v, "XXX" . $v, "XXX" . $v, "XXX" . $v
        ];
    }
    foreach ($export_data as $item) {
        $rows = array();
        foreach ($item as $export_obj) {
            $rows[] = iconv('utf-8', 'GBK', $export_obj);
        }
        fputcsv($fp, $rows);
    }

    $export_data = []; //從新複製，釋放掉舊數據
}
fclose($fp);

$endTime = microtime(true);
$memoryUse = memory_get_usage();

file_put_contents("11.log", "內存佔用：" . convert($memoryUse) . "; 用時：" . ($endTime - $startTime) . PHP_EOL, 8);

exit(0);

結果

測試說明

咱們模擬數據，輸入了100萬(10000 * 10)數據

日誌記錄內存使用率

# 文件大小：84.7 MB (88,889,540 字節)
# 這裏的用時由於業務模擬，因此具體根據操做業務數據可能會更長，內存佔用同理

內存佔用：118.99 kb; 用時：74.375253915787