大文件數據導出（後臺執行,自動生成）

時間 2019-11-06

標籤文件數據導出後臺執行自動生成简体版

原文原文鏈接

閱讀目錄php

1、前言

記錄一下之前作的後臺excel格式導出統計信息的功能，也是最近同事問到了相關東西，一時之間竟忘了具體的細節，所以記錄一下；html

你們知道，excel導出數據的功能，後臺幾乎是必須功能，通常都是點擊後，生成文件而後自動下載，前端

若是是數據量小的話，一會兒即可請求完成，從而下載到本地；shell

可是，若是數據量特別大的時候，頁面就必須一直在等待，直到寫入excel成功，json

這樣便影響了後臺使用者沒法操做其餘頁面，爲此，對excel導出作了如下功能優化：api

excel導出分紅兩部份內容：生成excel文件和下載excel文件

excel的文件生成在程序後臺執行，前端沒必要等待，可進行其餘後臺操做

增長下載文件頁面，顯示excel文件生成的進度，完成後，方可下載生成的excel文件

文件生成後，點擊下載方可下載相應的文件

2、生成excel文件

生成excel文件的方法有不少，暫不一一記錄，只是記錄本次的方法；瀏覽器

這裏用到了table的html格式，以及相應的excel的聲明服務器

（隱約記得其餘的方法用office07打開的時候好像是亂碼，後面嘗試用csv格式文件，可仍是亂碼，因此用了table的形式）app

文件的開頭：async

$struserdata = <<<Eof
<html xmlns:o="urn:schemas-microsoft-com:office:office"
xmlns:x="urn:schemas-microsoft-com:office:excel"
xmlns="http://www.w3.org/TR/REC-html40">

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html>
<head>
<meta http-equiv="Content-type" content="text/html;charset=utf-8" />
<style id="Classeur1_16681_Styles">
</style>
</head>
<body>
<div id="Classeur1_16681" align=center x:publishsource="Excel">

<table x:str border=1 cellpadding=0 cellspacing=0 width=100% style='border-collapse: collapse'>
Eof;

文件的結尾：

1 $struserdata = <<<Eof
2         </table>
3         </div>
4         </body>
5         </html>
6 Eof;

固然，文件中間就是一些tr td 標籤了。

3、讓程序在後臺執行

場景：

用戶點擊生成excel後，跳轉到下載頁面，程序在後臺執行，用戶可沒必要等待生成完成，可執行其餘操做；

下載頁面可看到文件生成的進度以及是否可下載狀態

思路：

點擊生成excel，顯示下載頁面 ---> show_download方法

生成excel ---> create_excel 方法

show_download方法中調用 create_excel方法，而show_download 方法中，本身用了一下命令行執行程序的方式,

利用php命令行的方式，把參數傳遞給 create_excel方法

1  // $cmd = "/usr/bin/php  /home/xxx/xxx.php " . $strjoin . "  >/dev/null & ";
2  // $a=exec($cmd, $out, $returndata);
3  
4  
5  $command = "/usr/bin/php ".STATISTIC_EXPORT_SCRIPT_DIR."xxx.php " . "'" .$strjoin ."'". " " . $uid . " ". $action ."  & ";
6  $process = proc_open($command, array(),$pipes); 
7  $var = proc_get_status($process); 
8  proc_close($process);
9  $pid = intval($var['pid'])+1;

而在create_excel方法中：

需填寫如下代碼：

1 set_time_limit(0); //取消腳本運行時間的超時上限
2 
3 ignore_user_abort(TRUE); //後臺運行,不受用戶關閉瀏覽器的影響

調用相關的api獲得數據：

1 $statistic = call_user_func(array('shellscript','get_result'),$url,$params);
2 if(!is_object($statistic) || !isset($statistic->data->items)){
3     usleep(400000);//中止400毫秒
4     $statistic = call_user_func(array('shellscript','get_result'),$url,$params);
5 }

4、顯示文件生成進度

可是怎麼顯示相應的文件生成進度呢，怎麼知道文件到底生成好了沒有呢？

這裏，我用到的方法是，在寫入數據文件的時候data.xsl，每一個數據文件都生成一個對應的文件進度文件，暫且稱爲flag_data.xsl;

思路：

第一次請求api的時候，根據返回的total總數，以及pagesize，肯定要請求的次數count;

這樣即可知道要請求api的次數（分頁請求api），在寫入數據文件的同時，同時寫入進度文件flag_data.xsl;
數據格式大約是(以逗號分割)
1,5
2,5
...

而後顯示文件進度的時候，讀取進度文件，這樣變可知道數據文件大致的進度

前端js處理時，幾秒讀取一次相應的方法（若是都100%進度，可中止請求方法），從而實現動態查看文件的生成進度

查看文件的進度方法：

public function execscript_process(){
$this->load->library('smarty');
$file_arr_str = array();
$file_arr_process = array();
$file_arr_name = array();
$file_arr = array();
$refresh_flag = 'yes';
$uid = $_REQUEST['uid'];
$url_dir = STATISTIC_EXPORT_FILE_DIR.$uid .'/';//@todo
if(!is_dir($url_dir)){
@mkdir($url_dir,0777);
}
$files = scandir($url_dir);

if(!empty($files)){
foreach ($files as $key => $value) {
if($value!='.' && $value!='..'){
if(substr($value, 0 , 5)=="flag_"){
$file_size = filesize($url_dir . $value);
if(!empty($file_size)){
$fhandle = fopen($url_dir . $value, 'rb+');
fseek($fhandle, -1, SEEK_END);
$fstr = '';
while(($c = fgetc($fhandle)) !== false) {
if($c == "\n" && $fstr) break;
$fstr = $c . $fstr;
fseek($fhandle, -2, SEEK_CUR);
}
fclose($fhandle);
$fstr = trim($fstr);
$fstr_arr_str = explode(',', $fstr);
$file_arr_process[] = 100 * number_format($fstr_arr_str[0]/$fstr_arr_str[1],2).'%';
$file_arr_name[] = substr($value,5);
}
}
}
}

foreach ($file_arr_process as $key => $value) {
if($value != '100%'){
$refresh_flag = 'no';
break;
}
}
}

$file_arr = array(
'process' => $file_arr_process,
'name' => $file_arr_name,
'refresh_flag' => $refresh_flag
);
$file_arr_json = json_encode($file_arr);
echo $file_arr_json;
}

5、下載文件

文件的下載就好說了，既然已經都生成成功，下載的方法以下：

 1     public function execscript_download(){
 2         $filename = $_REQUEST['filename'];
 3         $uid = $_REQUEST['uid'];
 4         $file_dir = STATISTIC_EXPORT_FILE_DIR.$uid.'/'.$filename;
 5         if (!file_exists($file_dir)){
 6             header("Content-type: text/html; charset=utf-8");
 7             echo "File not found!";
 8             exit; 
 9         } else {
10             ini_set("memory_limit","500M"); 
11             header('Content-Description: File Transfer');
12             header('Content-Type: application/octet-stream');
13             header('Content-Disposition: attachment; filename='.basename($file_dir));
14             header('Content-Transfer-Encoding: binary');
15             header('Expires: ' . gmdate('D, d M Y H:i:s') . ' GMT');
16             header('Cache-Control: must-revalidate,post-check=0, pre-check=0');
17             header('Pragma: public');
18             header('Content-Length: ' . filesize($file_dir));
19             readfile($file_dir);
20         }
21 
22     }

6、上線後出現的問題

本地原本已經測試完畢，可上線後，卻出現了奇怪的問題；

現象描述：

當在後臺點擊生成文件，跳轉到下載頁的時候，由於下載頁是顯示文件進度的頁面，
居然出現有時候有剛剛點擊的文件進度，有時候沒有，就感受沒有生成相應的文件同樣；

解決方法：

由於數據文件和進度文件都是生成在程序的某個文件夾file中，因此讀取的時候都是讀取的文件夾下的文件，從而判斷顯示進度；

後面才知道，因爲後臺程序有兩臺服務器，致使讀取以及下載的時候找不到相應的文件夾，兩個服務器相應的文件夾弄個共享目錄就能夠了

7、相應的後續優化

因爲下載的文件多了，致使文件夾下的文件愈來愈多，而原來生成的文件是沒有價值的，因此加了個按期刪除文件的功能，只保留近七天的文件

固然能夠用crontab，只不過我比較懶，是在點擊生成文件的時候，判斷了一下文件夾中的過時文件，從而刪除

 1     public function execscript_process_show(){
 2         $this->load->library('smarty');
 3         $uid = $_REQUEST['uid'];
 4         $url_dir = STATISTIC_EXPORT_FILE_DIR.$uid .'/';//@todo
 5         if(!is_dir($url_dir)){
 6             @mkdir($url_dir,0777);
 7         }        
 8         $files = scandir($url_dir);
 9         if(!empty($files)){
10             foreach ($files as $key => $value) {
11                 if($value!='.' && $value!='..'){
12                     foreach ($files as $key => $value) {
13                         if($value!='.' && $value!='..'){
14                             if(substr($value, 0 , 5)!="flag_"){
15                                 $filenamedate = substr($value, 0,10);
16                                 $today = date('Y-m-d',time());
17                                 $filenamedate = date('Y-m-d',strtotime($filenamedate)+(STATISTIC_FILE_EXPIRE_DAY-1)*24*3600);
18                                 if($today>$filenamedate){//文件過時
19                                     @unlink($url_dir . $value);
20                                     @unlink($url_dir . 'flag_' . $value);
21                                 }
22                             }
23                         }
24                     }                    
25                 }
26             }
27         }
28 
29         $this->smarty->assign('uid',$uid);
30         $this->smarty->display('interact/statistic/execscript.tpl');
31     }

8、後記

大文件的導出大致就是這個樣子，歡迎你們吐槽，共同交流；

當時在用命令行執行方法的時候，也參考了一下相應的資料，記錄一下；

http://blog.csdn.net/yysdsyl/article/details/4636457

http://www.codesky.net/article/201202/163385.html

http://www.cnblogs.com/zdz8207/p/3765567.html

http://blog.163.com/mojian20040228@126/blog/static/4112219320097300922992/

http://php.net/manual/en/features.commandline.php

http://blog.csdn.net/yangjun07167/article/details/5603425

http://blog.csdn.net/yunsongice/article/details/5445448

http://www.cppblog.com/amazon/archive/2011/12/01/161281.aspx

http://blog.51yip.com/tag/proc_open

http://www.justwinit.cn/post/1418/

http://limboy.me/tech/2010/12/05/php-async.html

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。