關於php多線程的記錄

　　最近須要對3W臺服務器進行下發腳本，若是一個一個執行，時間大約在2個小時，特別的慢，因而修改程序，採用php的多線程去分發，大概在10分鐘左右完成，下面記錄下此次的經驗和理解：

　　我所理解的php的多線程實現的方式有兩種，下面是官方的介紹：

　　一、官方的介紹：（轉載自張宴的博客）

　　到php5.3以上的版本，php纔算是真正的支持多線程，使用的是pthreads的擴展，php在處理多個循環的任務的時候，可以大大的縮短程序的執行時間。

　　大多數網站的性能瓶頸，不在php的服務器上，而是在mysql服務器上。由於能夠經過橫向的增長服務器或者是cpu的核數來應對。若是用Mysql數據庫，一條聯合查詢可能處理玩很複雜的業務邏輯，可是遇到大併發量的查詢，服務器可能就會癱瘓。所以咱們可使用NoSQL數據庫代替mysql服務器，一條很複雜的sql語句，可能須要好幾條NOSQL語句來完成，可是遇到大量的併發的狀況下，速度確實很是明顯的。而後再加上php的多線程的使用，經過十個php的線程查詢NOSQL，而後彙總返回結果輸出，速度是很是之快的。

1 　　PHP擴展下載：https://github.com/krakjoe/pthreads
2 　　PHP手冊文檔：http://php.net/manual/zh/book.pthreads.php

　　一、擴展的編譯安裝(Linux），編輯參數 --enable-maintainer-zts 是必選項：

 1 cd /Data/tgz/php-5.5.1
 2 ./configure --prefix=/Data/apps/php --with-config-file-path=/Data/apps/php/etc --with-mysql=/Data/apps/mysql --with-mysqli=/Data/apps/mysql/bin/mysql_config --with-iconv-dir --with-freetype-dir=/Data/apps/libs --with-jpeg-dir=/Data/apps/libs --with-png-dir=/Data/apps/libs --with-zlib --with-libxml-dir=/usr --enable-xml --disable-rpath --enable-bcmath --enable-shmop --enable-sysvsem --enable-inline-optimization --with-curl --enable-mbregex --enable-fpm --enable-mbstring --with-mcrypt=/Data/apps/libs --with-gd --enable-gd-native-ttf --with-openssl --with-mhash --enable-pcntl --enable-sockets --with-xmlrpc --enable-zip --enable-soap --enable-opcache --with-pdo-mysql --enable-maintainer-zts
 3 make clean
 4 make
 5 make install        
 6 
 7 unzip pthreads-master.zip
 8 cd pthreads-master
 9 /Data/apps/php/bin/phpize
10 ./configure --with-php-config=/Data/apps/php/bin/php-config
11 make
12 make install
vi /Data/apps/php/etc/php.ini
extension = "pthreads.so"

　　二、給出一段PHP多線程、與For循環，抓取百度搜索頁面的PHP代碼示例：

 1 <?php
 2   class test_thread_run extends Thread 
 3   {
 4       public $url;
 5       public $data;
 6 
 7       public function __construct($url)
 8       {
 9           $this->url = $url;
10       }
11 
12       public function run()
13       {
14           if(($url = $this->url))
15           {
16               $this->data = model_http_curl_get($url);
17           }
18       }
19   }
20 
21   function model_thread_result_get($urls_array) 
22   {
23       foreach ($urls_array as $key => $value) 
24       {
25           $thread_array[$key] = new test_thread_run($value["url"]);
26           $thread_array[$key]->start();
27       }
28 
29       foreach ($thread_array as $thread_array_key => $thread_array_value) 
30       {
31           while($thread_array[$thread_array_key]->isRunning())
32           {
33               usleep(10);
34           }
35           if($thread_array[$thread_array_key]->join())
36           {
37               $variable_data[$thread_array_key] = $thread_array[$thread_array_key]->data;
38           }
39       }
40       return $variable_data;
41   }
42 
43   function model_http_curl_get($url,$userAgent="") 
44   {
45       $userAgent = $userAgent ? $userAgent : 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2)'; 
46       $curl = curl_init();
47       curl_setopt($curl, CURLOPT_URL, $url);
48       curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
49       curl_setopt($curl, CURLOPT_TIMEOUT, 5);
50       curl_setopt($curl, CURLOPT_USERAGENT, $userAgent);
51       $result = curl_exec($curl);
52       curl_close($curl);
53       return $result;
54   }
55 
56   for ($i=0; $i < 100; $i++) 
57   { 
58       $urls_array[] = array("name" => "baidu", "url" => "http://www.baidu.com/s?wd=".mt_rand(10000,20000));
59   }
60 
61   $t = microtime(true);
62   $result = model_thread_result_get($urls_array);
63   $e = microtime(true);
64   echo "多線程：".($e-$t)."\n";
65 
66   $t = microtime(true);
67   foreach ($urls_array as $key => $value) 
68   {
69       $result_new[$key] = model_http_curl_get($value["url"]);
70   }
71   $e = microtime(true);
72   echo "For循環：".($e-$t)."\n";
73 ?>

　　上述是官方給的一個php多線程的一個擴展，因爲須要從新編譯，所以本身沒有進行試驗，但其實本質都是在linux中開啓多個線程來進行處理。

二、下面說下我本身搞得僞造的php的多線程的實例：

下面是一段測試的代碼：

for.php

 1 <?php
 2 $start = microtime(true);
 3 for($i=0;$i<5000;$i++){                                                                                                  
 4     $cmd = "php ./test.php &"; -----// 主要是這個，使用php執行，將程序放到後臺執行，不等待返回結果，再次繼續循環，相似於異步的方式，生成多個php的線程。  5     $fp = popen($cmd,"r");
 6 }
 7 fclose($fp);
 8 $end = microtime(true);
 9  
10 echo $end-$start;
11  
12  
13 ?>

test.php(簡單的顯示phpinfo的信息)：

1 <?php
2     phpinfo();
3 ?>

採用多線程的執行的時間：32.89448595047 採用普通的執行的時間：85.191102027893

執行循環的次數越大，這種時間差就很明顯。

ps：咱們能夠寫一個python或者shell的腳本，來實時的檢測php的進程數的變化：

1 #!/usr/bin/env/ python
2 import os
3 from time import sleep
4 
5 while 1:
6     os.system("ps -aux|grep php|wc -l");
7     sleep(1);
8 
9 上面是一個簡單的統計php進程數的一個腳本，在shell界面執行的時候，能夠將輸出定位到一個文件中。

記錄：

併發的最大記錄數：

　　以前在公司的機器上跑了一個多線程的程序，

　　機器的配置是48G內存   6個CPU，

　　一次併發的線程數大概在3000左右，超過4000，會形成內存溢出，機器掛死。這是最大的併發線程數。

可是咱們在線上跑的時候，爲了安全，必定要記住最多咱們也就併發幾十個到100個進程，若是超出了範圍，會發生數據的丟失和一些詭異的現象發生。