curl_multi實現併發

普通請求

curl_normal.php

<?php 
$srart_time = microtime(TRUE);

$chArr=[];

//建立多個cURL資源
for($i=0; $i<10; $i++){
    $chArr[$i]=curl_init();
    curl_setopt($chArr[$i], CURLOPT_URL, "http://www.52fhy.com/test.json");
    curl_setopt($chArr[$i], CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($chArr[$i], CURLOPT_TIMEOUT, 1);
    $result[] = curl_exec($chArr[$i]);
    echo "running ";
}

// print_r($result);

$end_time = microtime(TRUE);
echo sprintf("use time:%.3f s", $end_time - $srart_time);

?>

use time:0.830 s

curl_multi併發

curl_multi.php

<?php 
$srart_time = microtime(TRUE);

$chArr=[];

//建立多個cURL資源
for($i=0; $i<10; $i++){
    $chArr[$i]=curl_init();
    curl_setopt($chArr[$i], CURLOPT_URL, "http://www.52fhy.com/test.json");
    curl_setopt($chArr[$i], CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($chArr[$i], CURLOPT_TIMEOUT, 1);
}

$mh = curl_multi_init(); //1 建立批處理cURL句柄

foreach($chArr as $k => $ch){      
    curl_multi_add_handle($mh, $ch); //2 增長句柄
}

$active = null; 

//待優化點：
//在$active > 0,執行curl_multi_exec($mh,$active)而整個批處理句柄沒有所有執行完畢時，系統會不停地執行curl_multi_exec()函數。
do{
    echo "running ";
    curl_multi_exec($mh, $active); //3 執行批處理句柄
}while($active > 0); //4

foreach($chArr as $k => $ch){ 
    $result[$k]= curl_multi_getcontent($ch); //5 獲取句柄的返回值
    curl_multi_remove_handle($mh, $ch);//6 將$mh中的句柄移除
}

curl_multi_close($mh); //7 關閉所有句柄 

// print_r($result);

$end_time = microtime(TRUE);
echo sprintf("use time:%.3f s", $end_time - $srart_time);

?>

use time:0.259 s

curl_multi併發優化：curl_multi_select

在上個示例裏當$active > 0時,執行curl_multi_exec($mh,$active)而整個批處理句柄沒有所有執行完畢時，系統會不停地執行curl_multi_exec()函數。這樣可能會輕易致使CPU佔用很高。

進行改動的方式是應用curl函數庫中的curl_multi_select()函數，其函數原型以下：

int curl_multi_select ( resource $mh [, float $timeout = 1.0 ] )

阻塞直到cURL批處理鏈接中有活動鏈接。成功時返回描述符集合中描述符的數量。失敗時，select失敗時返回-1，不然返回超時(從底層的select系統調用)。
我用們curl_multi_select()函數來達到沒有須要讀取的程序就阻塞住的目的。

下面是優化部分的代碼：

curl_multi_select.php

$active = null; 

do{
    echo "running ";
    $mrc = curl_multi_exec($mh, $active); //3 執行批處理句柄
}while ($mrc == CURLM_CALL_MULTI_PERFORM); //4

//本次循環第一次處理$mh批處理中的$ch句柄，並將$mh批處理的執行狀態寫入$active ,當狀態值等於CURLM_CALL_MULTI_PERFORM時，代表數據還在寫入或讀取中，執行循環，當第一次$ch句柄的數據寫入或讀取成功後，狀態值變爲CURLM_OK，跳出本次循環，進入下面的大循環之中。

//$active 爲true，即$mh批處理之中還有$ch句柄正待處理，$mrc==CURLM_OK,即上一次$ch句柄的讀取或寫入已經執行完畢。
while ($active && $mrc == CURLM_OK) { 
    if (curl_multi_select($mh) != -1) {//$mh批處理中還有可執行的$ch句柄，curl_multi_select($mh) != -1程序退出阻塞狀態。
        do {
            $mrc = curl_multi_exec($mh, $active);//繼續執行須要處理的$ch句柄。
        } while ($mrc == CURLM_CALL_MULTI_PERFORM);
    }
}

這樣執行的好處是$mh批處理中的$ch句柄會在讀取或寫入數據結束後($mrc==CURLM_OK),進入curl_multi_select($mh)的阻塞階段，而不會在整個$mh批處理執行時不停地執行curl_multi_exec,白白浪費CPU資源。

運行結果：
use time:0.325 s

耗時並無多少改變，只是性能提升了。

curl_multi併發優化：rolling

上面的例子還存在優化的空間, 優化的方式時當某個URL請求完畢以後儘量快的去處理它, 邊處理邊等待其餘的URL返回, 而不是等待那個最慢的接口返回以後纔開始處理等工做, 從而避免CPU的空閒和浪費。

僅貼出修改部分：

curl_multi_rolling.php

$active = null; 

do {
    while (($mrc = curl_multi_exec($mh, $active)) == CURLM_CALL_MULTI_PERFORM) ;

    if ($mrc != CURLM_OK) { break; }

    // a request was just completed -- find out which one
    while ($done = curl_multi_info_read($mh)) {

        // get the info and content returned on the request
        $info = curl_getinfo($done['handle']);
        $error = curl_error($done['handle']);
        $result[] = curl_multi_getcontent($done['handle']);
        // $responses[$map[(string) $done['handle']]] = compact('info', 'error', 'results');

        // remove the curl handle that just completed
        curl_multi_remove_handle($mh, $done['handle']);
        curl_close($done['handle']);
    }

    // Block for data in / output; error handling is done by curl_multi_exec
    if ($active > 0) {
        curl_multi_select($mh);
    }

} while ($active);

use time:0.267 s

參考

一、PHP模擬發送POST請求之五curl基本使用和多線程優化
http://www.cnblogs.com/zhenbianshu/p/4935679.html
二、Rolling cURL: PHP併發最佳實踐
https://www.oschina.net/question/54100_58279
三、curl_multi_select解決curl_multi網頁假死問題
http://www.webkaka.com/tutorial/php/2013/102844/