php中curl的多線程

時間 2019-11-08

標籤 php curl 多線程欄目 PHP 简体版

原文原文鏈接

我剛剛纔知道php的curl竟然有多線程版，之後的採集過程就不須要再使用Python的多線程咯。php

許多人對php手冊中語焉不詳的curl_multi一族的函數頭疼不已，它們文檔少，給的例子更是簡單的讓你無從借鑑，我也曾經找了許多網頁，都沒見一個完整的應用例子。
# curl_multi_add_handle
# curl_multi_close
# curl_multi_exec
# curl_multi_getcontent
# curl_multi_info_read
# curl_multi_init
# curl_multi_remove_handle
# curl_multi_selecthtml

通常來講，想到要用這些函數時，目的顯然應該是要同時請求多個url，而不是一個一個依次請求，不然不如本身循環去調curl_exec好了。mysql

步驟總結以下：git

第一步：調用curl_multi_init
第二步：循環調用curl_multi_add_handle
這一步須要注意的是，curl_multi_add_handle的第二個參數是由curl_init而來的子handle。
第三步：持續調用curl_multi_exec
第四步：根據須要循環調用curl_multi_getcontent獲取結果
第五步：調用curl_multi_remove_handle，併爲每一個字handle調用curl_close
第六步：調用curl_multi_closegithub

這裏有一個網上找的簡單例子，其做者稱爲dirty的例子，（稍後我會說明爲什麼dirty）：
/*
Here's a quick and dirty example for curl-multi from PHP, tested on PHP 5.0.0RC1 CLI / FreeBSD 5.2.1
*/sql

$connomains = array(
"http://www.cnn.com/",
"http://www.canada.com/",
"http://www.yahoo.com/"
);數據庫

$mh = curl_multi_init();多線程

foreach ($connomains as $i => $url) {
$conn[$i]=curl_init($url);
curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,1);
curl_multi_add_handle ($mh,$conn[$i]);
}併發

do { $n=curl_multi_exec($mh,$active); } while ($active);curl

foreach ($connomains as $i => $url) {
$res[$i]=curl_multi_getcontent($conn[$i]);
curl_close($conn[$i]);
}

print_r($res);

整個使用過程差很少就是這樣，可是，這個簡單代碼有個致命弱點，就是在do循環的那段，在整個url請求期間是個死循環，它會輕易致使CPU佔用100%。

如今咱們來改進它，這裏要用到一個幾乎沒有任何文檔的函數curl_multi_select了，雖然C的curl庫對select有說明，可是，php裏的接口和用法確與C中有不一樣。

把上面do的那段改爲下面這樣：
do {
$mrc = curl_multi_exec($mh,$active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
while ($active and $mrc == CURLM_OK) {
if (curl_multi_select($mh) != -1) {
do {
$mrc = curl_multi_exec($mh, $active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);
}
}

由於$active要等所有url數據接受完畢才變成false，因此這裏用到了curl_multi_exec的返回值判斷是否還有數據，當有數據的時候就不停調用curl_multi_exec，暫時沒有數據就進入select階段，新數據一來就能夠被喚醒繼續執行。這裏的好處就是CPU的無謂消耗沒有了。

另外：還有一些細節的地方可能有時候要遇到：

控制每個請求的超時時間，在curl_multi_add_handle以前經過curl_setopt去作：
curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);

判斷是否超時了或者其餘錯誤，在curl_multi_getcontent以前用：curl_error($conn[$i]);

孤魂寫的一個多線程的函數版：

<?php
$text = remote(array('http://www.kalvin.cn/about-me/','http://www.kalvin.cn/'));
print_r($text);
 
function remote($urls) {
    if (!is_array($urls) or count($urls) == 0) {
        return false;
    } 
 
    $curl = $text = array();
    $handle = curl_multi_init();
    foreach($urls as $k => $v) {
        $nurl[$k]= preg_replace('~([^:\/\.]+)~ei', "rawurlencode('\\1')", $v);
        $curl[$k] = curl_init($nurl[$k]);
        curl_setopt($curl[$k], CURLOPT_RETURNTRANSFER, 1);
        curl_setopt($curl[$k], CURLOPT_HEADER, 0);
        curl_multi_add_handle ($handle, $curl[$k]);
    } 
 
    $active = null;
    do {
        $mrc = curl_multi_exec($handle, $active);
    } while ($mrc == CURLM_CALL_MULTI_PERFORM);
 
    while ($active && $mrc == CURLM_OK) {
        if (curl_multi_select($handle) != -1) {
            do {
                $mrc = curl_multi_exec($handle, $active);
            } while ($mrc == CURLM_CALL_MULTI_PERFORM);
        } 
    } 
 
    foreach ($curl as $k => $v) {
        if (curl_error($curl[$k]) == "") {
        $text[$k] = (string) curl_multi_getcontent($curl[$k]); 
        }
        curl_multi_remove_handle($handle, $curl[$k]);
        curl_close($curl[$k]);
    } 
    curl_multi_close($handle);
    return $text;
}

一個多線程的採集類
https://github.com/xfeng/MultiHttpRequest

<?php
/*
    PHP通用採集
    支持多列表匹配；
    頁面內容壓縮後匹配，下降規則難度；
    多線程採集，速度更快，爲防止目標站限制注意設置併發數量；
    採集後導出content裏的內容和images文件夾中圖片便可；
    echo str_pad(1,8,"0",STR_PAD_LEFT);00000001
*/
header("Content-type: text/html;charset=utf-8");
 
set_time_limit(0);
 
require("libs/class_curl_multi.php");
 
//鏈接數據庫
$link = mysql_connect("127.0.0.1:3306","root","");
mysql_select_db("test",$link);
 
//清空數據庫
mysql_query("TRUNCATE TABLE content");
 
//域名前綴
$base = "http://sellbest.net";
 
//須要採集的規則列表（分頁）
$list = array(
    //'http://sellbest.net/by-brand/page[1-14]/1-PRADA.html',
    'http://sellbest.net/by-brand/limit1800/page[1-1]/1-PRADA.html',
);
 
//在列表頁面內容連接表達式
$list_rules = '<p class="productName"><a href="(.*)">.*</a>';
 
//內容頁面信息字段表達式
$detail_rules = array(
    'meta_title'=>'<title>(.*)</title>',
    'meta_keywords'=>'<meta name="keywords" content="(.*)" />',
    'meta_description'=>'<meta name="description" content="(.*)" />',
    'product_name'=>'<h4 class="h4-title float-l"> (.*)</h4>',
    'product_image'=>'<div class="v-inner">.*<a href="(.*)" id="originalImg"><img src=".*" alt=".*" /></a>.*</div>',
    'product_price'=>'Our Price : <strong>(.*)</strong>',
    'product_description'=>'<div class="description-text" id="description"><div class="border-cont">(.*)</div>',
);
 
//實例
$mp = new MultiHttpRequest();
 
//調試使用記錄採集條目
$j = 1;
 
//每次併發幾個連接
$limit = 10;
 
//開始採集
foreach ($list as $link) {
     
    //解析列表頁數
    preg_match_all('#\[(.*)\]#isU',$link,$_page);
    if($_page[1][0]==''){
        continue;
    }
    $pages = explode('-',$_page[1][0]);
    if(count($pages) != 2){
        continue;
    }
     
    $urls = array();
     
    for($i=$pages[0];$i< =$pages[1];$i++){
        if(count($urls) < $limit){
            $urls[] = preg_replace('#\[(.*)\]#isU',$i,$link);
            if($i != $pages[1]){
                continue;
            }
        }
        //採集列表內容
        $mp->set_urls($urls);
        $contents = $mp->start();
                 
        foreach ($contents as $content) {
             
                    $content = _prefilter($content);
                    //debug
                    //exit($content);
                     
                    //匹配內容
                    preg_match_all('#'.addslashes($list_rules).'#isU',$content,$pregArr);
                     
                    $detail_urls = array();
                    foreach($pregArr[1] as $detail_key=>$detail_value){
                        $data = array();
                        if(count($detail_urls) < $limit ){
                                $detail_urls[] = $base.$detail_value;
                                if($pregArr[1][$detail_key+1] != ''){
                                    continue;
                                }
                        }
                         
                        //print_r($detail_urls);
                        //continue;                     
                        $mp->set_urls($detail_urls);
                         
                        $details = $mp->start();
                        //圖片路徑臨時存放
                        $images_urls = array();
                         
                        //採集內容頁面
                        foreach ($details as $detail) {
                            $detail = _prefilter($detail);
                            //debug
                            exit($detail);
                             
                            foreach ($detail_rules as $key => $value) {
                                 
                                preg_match_all('#'.addslashes($value).'#isU',$detail,$detailArr);
                                //處理特殊這段信息
                                switch ($key) {
                                    case 'product_image':
                                        $data[$key] = "images/".md5($detailArr[1][0]).".jpg";
                                        if(!file_exists($data[$key])){
                                            $images_urls[$data[$key]] = $base.$detailArr[1][0];
                                            //file_put_contents($data[$key],$mp->get_content($base.$detailArr[1][0]));
                                        }
                                        break;
                                    case 'product_description':
                                        $data[$key] = trim(strip_tags($detailArr[1][0]));
                                        break;
                                    default:
                                        $data[$key] = $detailArr[1][0];
                                        break;
                                }
                                                 
                            }
                             
                             
                            //產品url         
                            $data['product_url'] = _title($data['product_name']);
                            //轉義採集後的數據
                            foreach ($data as $_k => $_v) {
                                $data[$_k] = addslashes($_v);
                            }
                            //入庫
                            $r = mysql_query("
                            insert into `content` values(
                            null,
                            '{$data['meta_title']}',
                            '{$data['meta_keywords']}',
                            '{$data['meta_description']}',
                            '{$data['product_name']}',
                            '{$data['product_image']}',
                            '{$data['product_price']}',
                            '{$data['product_description']}',
                            '{$data['product_url']}')");
                            //打印log
                            _flush($j++."|".$r."|".$data['product_name']."\n");
                            //_flush($data);
                        }
                        //遠程圖片本地化
                        $mp->set_urls($images_urls);                     
                        $images = $mp->start();                      
                        foreach ((array)$images as $image_key => $image_value) {
                            _flush($image_key."\n");
                            file_put_contents($image_key,$image_value);
                        }
                        //清空內容url並加入本次循環url。否則本次會被跳過
                        $detail_urls = array($base.$detail_value);
            }
        }
        //清空內容url並加入本次循環url。否則本次會被跳過
        $urls = array(preg_replace('#\[(.*)\]#isU',$i,$link));
    }
}
 
//=========================================================
function _flush($msg)
{
    print_r ($msg);
    ob_flush();
    flush();
}
 
 
function _title($title, $separator = '-' )
{
    $title = preg_replace('![^'.preg_quote($separator).'\pL\pN\s]+!u', '', strtolower($title));
    $title = preg_replace('!['.preg_quote($separator).'\s]+!u', $separator, $title);
    return trim($title, $separator);
}
 
 
function _prefilter($output) {
    $output=preg_replace("/\/\/[\S\f\t\v ]*?;[\r|\n]/","",$output);
    $output=preg_replace("/\< \!\-\-[\s\S]*?\-\-\>/","",$output);
    $output=preg_replace("/\>[\s]+\< ",$output);
    $output=preg_replace("/;[\s]+/",";",$output);
    $output=preg_replace("/[\s]+\}/","}",$output);
    $output=preg_replace("/}[\s]+/","}",$output);
    $output=preg_replace("/\{[\s]+/","{",$output);
    $output=preg_replace("/([\s]){2,}/","$1",$output);
    $output=preg_replace("/[\s]+\=[\s]+/","=",$output);
    return $output;
}
?>