【php爬蟲】百萬級別知乎用戶數據爬取與分析
代碼託管地址：https://github.com/hoohack/zhihuSpiderphp
此次抓取了110萬的用戶數據，數據分析結果以下：html
開發前的準備
安裝Linux系統（Ubuntu14.04），在VMWare虛擬機下安裝一個Ubuntu；mysql
安裝PHP5.6或以上版本；git
安裝MySQL5.5或以上版本；github
安裝curl、pcntl、pdo擴展。正則表達式
使用PHP的curl擴展抓取頁面數據
PHP的curl擴展是PHP支持的容許你與各類服務器使用各類類型的協議進行鏈接和通訊的庫。redis
本程序是抓取知乎的用戶數據，要能訪問用戶我的頁面，須要用戶登陸後的才能訪問。當咱們在瀏覽器的頁面中點擊一個用戶頭像連接進入用戶我的中心頁面的時候，之因此可以看到用戶的信息，是由於在點擊連接的時候，瀏覽器幫你將本地的cookie帶上一齊提交到新的頁面，因此你就能進入到用戶的我的中心頁面。所以實現訪問我的頁面以前須要先得到用戶的cookie信息，而後在每次curl請求的時候帶上cookie信息。在獲取cookie信息方面，我是用了本身的cookie，在頁面中能夠看到本身的cookie信息：sql
一個個地複製，以"__utma=?;__utmb=?;"這樣的形式組成一個cookie字符串。接下來就可使用該cookie字符串來發送請求。數據庫
初始的示例：編程
$url = 'http://www.zhihu.com/people/mora-hu/about'; //此處mora-hu表明用戶ID $ch = curl_init($url); //初始化會話 curl_setopt($ch, CURLOPT_HEADER, 0); curl_setopt($ch, CURLOPT_COOKIE, $this->config_arr['user_cookie']); //設置請求COOKIE curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //將curl_exec()獲取的信息以文件流的形式返回，而不是直接輸出。 curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); $result = curl_exec($ch); return $result; //抓取的結果
運行上面的代碼能夠得到mora-hu用戶的我的中心頁面。利用該結果再使用正則表達式對頁面進行處理，就能獲取到姓名，性別等所須要抓取的信息。
圖片防盜鏈
在對返回結果進行正則處理後輸出我的信息的時候，發如今頁面中輸出用戶頭像時沒法打開。通過查閱資料得知，是由於知乎對圖片作了防盜鏈處理。解決方案就是請求圖片的時候在請求頭裏僞造一個referer。
在使用正則表達式獲取到圖片的連接以後，再發一次請求，這時候帶上圖片請求的來源，說明該請求來自知乎網站的轉發。具體例子以下：
function getImg($url, $u_id) { if (file_exists('./images/' . $u_id . ".jpg")) { return "images/$u_id" . '.jpg'; } if (empty($url)) { return ''; } $context_options = array( 'http' => array( 'header' => "Referer:http://www.zhihu.com"//帶上referer參數 )
); $context = stream_context_create($context_options); $img = file_get_contents('http:' . $url, FALSE, $context); file_put_contents('./images/' . $u_id . ".jpg", $img); return "images/$u_id" . '.jpg'; }
爬取更多用戶
抓取了本身的我的信息後，就須要再訪問用戶的關注者和關注了的用戶列表獲取更多的用戶信息。而後一層一層地訪問。能夠看到，在我的中心頁面裏，有兩個連接以下：
這裏有兩個連接，一個是關注了，另外一個是關注者，以「關注了」的連接爲例。用正則匹配去匹配到相應的連接，獲得url以後用curl帶上cookie再發一次請求。抓取到用戶關注了的用於列表頁以後，能夠獲得下面的頁面：
分析頁面的html結構，由於只要獲得用戶的信息，因此只須要框住的這一塊的div內容，用戶名都在這裏面。能夠看到，用戶關注了的頁面的url是：
不一樣的用戶的這個url幾乎是同樣的，不一樣的地方就在於用戶名那裏。用正則匹配拿到用戶名列表，一個一個地拼url，而後再逐個發請求（固然，一個一個是比較慢的，下面有解決方案，這個稍後會說到）。進入到新用戶的頁面以後，再重複上面的步驟，就這樣不斷循環，直到達到你所要的數據量。
Linux統計文件數量
腳本跑了一段時間後，須要看看究竟獲取了多少圖片，當數據量比較大的時候，打開文件夾查看圖片數量就有點慢。腳本是在Linux環境下運行的，所以可使用Linux的命令來統計文件數量：
ls -l | grep "^-" | wc -l
其中， ls -l 是長列表輸出該目錄下的文件信息（這裏的文件能夠是目錄、連接、設備文件等）； grep "^-" 過濾長列表輸出信息， "^-" 只保留通常文件，若是隻保留目錄是 "^d" ； wc -l 是統計輸出信息的行數。下面是一個運行示例：
插入MySQL時重複數據的處理
程序運行了一段時間後，發現有不少用戶的數據是重複的，所以須要在插入重複用戶數據的時候作處理。處理方案以下：
1）插入數據庫以前檢查數據是否已經存在數據庫；
2）添加惟一索引，插入時使用 INSERT INTO ... ON DUPLICATE KEY UPDATE...
3）添加惟一索引，插入時使用 INSERT INGNORE INTO...
4）添加惟一索引，插入時使用 REPLACE INTO...
第一種方案是最簡單但也是效率最差的方案，所以不採起。二和四方案的執行結果是同樣的，不一樣的是，在遇到相同的數據時， INSERT INTO ... ON DUPLICATE KEY UPDATE 是直接更新的，而 REPLACE INTO 是先刪除舊的數據而後插入新的，在這個過程當中，還須要從新維護索引，因此速度慢。因此在二和四二者間選擇了第二種方案。而第三種方案， INSERT INGNORE 會忽略執行INSERT語句出現的錯誤，不會忽略語法問題，可是忽略主鍵存在的狀況。這樣一來，使用 INSERT INGNORE 就更好了。最終，考慮到要在數據庫中記錄重複數據的條數，所以在程序中採用了第二種方案。
使用curl_multi實現I/O複用抓取頁面
剛開始單進程並且單個curl去抓取數據，速度很慢，掛機爬了一個晚上只能抓到2W的數據，因而便想到能不能在進入新的用戶頁面發curl請求的時候一次性請求多個用戶，後來發現了curl_multi這個好東西。curl_multi這類函數能夠實現同時請求多個url，而不是一個個請求，這是一種I/O複用的機制。下面是使用curl_multi爬蟲的示例：
$mh = curl_multi_init(); //返回一個新cURL批處理句柄 for ($i = 0; $i < $max_size; $i++) { $ch = curl_init(); //初始化單個cURL會話 curl_setopt($ch, CURLOPT_HEADER, 0); curl_setopt($ch, CURLOPT_URL, 'http://www.zhihu.com/people/' . $user_list[$i] . '/about'); curl_setopt($ch, CURLOPT_COOKIE, self::$user_cookie); curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.130 Safari/537.36'); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); $requestMap[$i] = $ch; curl_multi_add_handle($mh, $ch); //向curl批處理會話中添加單獨的curl句柄 } $user_arr = array(); do { //運行當前 cURL 句柄的子鏈接 while (($cme = curl_multi_exec($mh, $active)) == CURLM_CALL_MULTI_PERFORM); if ($cme != CURLM_OK) {break;} //獲取當前解析的cURL的相關傳輸信息 while ($done = curl_multi_info_read($mh)) { $info = curl_getinfo($done['handle']); $tmp_result = curl_multi_getcontent($done['handle']); $error = curl_error($done['handle']); $user_arr[] = array_values(getUserInfo($tmp_result)); //保證同時有$max_size個請求在處理 if ($i < sizeof($user_list) && isset($user_list[$i]) && $i < count($user_list)) { $ch = curl_init(); curl_setopt($ch, CURLOPT_HEADER, 0); curl_setopt($ch, CURLOPT_URL, 'http://www.zhihu.com/people/' . $user_list[$i] . '/about'); curl_setopt($ch, CURLOPT_COOKIE, self::$user_cookie); curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.130 Safari/537.36'); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); $requestMap[$i] = $ch; curl_multi_add_handle($mh, $ch); $i++; } curl_multi_remove_handle($mh, $done['handle']); } if ($active) curl_multi_select($mh, 10); } while ($active); curl_multi_close($mh); return $user_arr;
HTTP 429 Too Many Requests
使用curl_multi函數能夠同時發多個請求，可是在執行過程當中使同時發200個請求的時候，發現不少請求沒法返回了，即發現了丟包的狀況。進一步分析，使用 curl_getinfo 函數打印每一個請求句柄信息，該函數返回一個包含HTTP response信息的關聯數組，其中有一個字段是http_code，表示請求返回的HTTP狀態碼。看到有不少個請求的http_code都是429，這個返回碼的意思是發送太多請求了。我猜是知乎作了防爬蟲的防禦，因而我就拿其餘的網站來作測試，發現一次性發200個請求時沒問題的，證實了個人猜想，知乎在這方面作了防禦，即一次性的請求數量是有限制的。因而我不斷地減小請求數量，發如今5的時候就沒有丟包狀況了。說明在這個程序裏一次性最多隻能發5個請求，雖然很少，但這也是一次小提高了。
使用Redis保存已經訪問過的用戶
抓取用戶的過程當中，發現有些用戶是已經訪問過的，並且他的關注者和關注了的用戶都已經獲取過了，雖然在數據庫的層面作了重複數據的處理，可是程序仍是會使用curl發請求，這樣重複的發送請求就有不少重複的網絡開銷。還有一個就是待抓取的用戶須要暫時保存在一個地方以便下一次執行，剛開始是放到數組裏面，後來發現要在程序裏添加多進程，在多進程編程裏，子進程會共享程序代碼、函數庫，可是進程使用的變量與其餘進程所使用的大相徑庭。不一樣進程之間的變量是分離的，不能被其餘進程讀取，因此是不能使用數組的。所以就想到了使用Redis緩存來保存已經處理好的用戶以及待抓取的用戶。這樣每次執行完的時候都把用戶push到一個already_request_queue隊列中，把待抓取的用戶（即每一個用戶的關注者和關注了的用戶列表）push到request_queue裏面，而後每次執行前都從request_queue裏pop一個用戶，而後判斷是否在already_request_queue裏面，若是在，則進行下一個，不然就繼續執行。
在PHP中使用redis示例：
<?php $redis = new Redis(); $redis->connect('127.0.0.1', '6379'); $redis->set('tmp', 'value'); if ($redis->exists('tmp')) { echo $redis->get('tmp') . "\n"; }
使用PHP的pcntl擴展實現多進程
改用了curl_multi函數實現多線程抓取用戶信息以後，程序運行了一個晚上，最終獲得的數據有10W。還不能達到本身的理想目標，因而便繼續優化，後來發現php裏面有一個pcntl擴展能夠實現多進程編程。下面是多編程編程的示例：
//PHP多進程demo //fork10個進程 for ($i = 0; $i < 10; $i++) { $pid = pcntl_fork(); if ($pid == -1) { echo "Could not fork!\n"; exit(1); } if (!$pid) { echo "child process $i running\n"; //子進程執行完畢以後就退出，以避免繼續fork出新的子進程 exit($i); } } //等待子進程執行完畢，避免出現殭屍進程 while (pcntl_waitpid(0, $status) != -1) { $status = pcntl_wexitstatus($status); echo "Child $status completed\n"; }
在Linux下查看系統的cpu信息
實現了多進程編程以後，就想着多開幾條進程不斷地抓取用戶的數據，後來開了8調進程跑了一個晚上後發現只能拿到20W的數據，沒有多大的提高。因而查閱資料發現，根據系統優化的CPU性能調優，程序的最大進程數不能隨便給的，要根據CPU的核數和來給，最大進程數最好是cpu核數的2倍。所以須要查看cpu的信息來看看cpu的核數。在Linux下查看cpu的信息的命令：
cat /proc/cpuinfo
其中，model name表示cpu類型信息，cpu cores表示cpu核數。這裏的核數是1，由於是在虛擬機下運行，分配到的cpu核數比較少，所以只能開2條進程。最終的結果是，用了一個週末就抓取了110萬的用戶數據。
多進程編程中Redis和MySQL鏈接問題
在多進程條件下，程序運行了一段時間後，發現數據不能插入到數據庫，會報mysql too many connections的錯誤，redis也是如此。
下面這段代碼會執行失敗：
<?php for ($i = 0; $i < 10; $i++) { $pid = pcntl_fork(); if ($pid == -1) { echo "Could not fork!\n"; exit(1); } if (!$pid) { $redis = PRedis::getInstance(); // do something exit; } }
根本緣由是在各個子進程建立時，就已經繼承了父進程一份徹底同樣的拷貝。對象能夠拷貝，可是已建立的鏈接不能被拷貝成多個，由此產生的結果，就是各個進程都使用同一個redis鏈接，各幹各的事，最終產生莫名其妙的衝突。
程序不能徹底保證在fork進程以前，父進程不會建立redis鏈接實例。所以，要解決這個問題只能靠子進程自己了。試想一下，若是在子進程中獲取的實例只與當前進程相關，那麼這個問題就不存在了。因而解決方案就是稍微改造一下redis類實例化的靜態方式，與當前進程ID綁定起來。
<?php public static function getInstance() { static $instances = array(); $key = getmypid();//獲取當前進程ID if ($empty($instances[$key])) { $inctances[$key] = new self(); } return $instances[$key]; }
PHP統計腳本執行時間
由於想知道每一個進程花費的時間是多少，所以寫個函數統計腳本執行時間：
function microtime_float() { list($u_sec, $sec) = explode(' ', microtime()); return (floatval($u_sec) + floatval($sec)); } $start_time = microtime_float(); //do something usleep(100); $end_time = microtime_float(); $total_time = $end_time - $start_time; $time_cost = sprintf("%.10f", $total_time); echo "program cost total " . $time_cost . "s\n";
最後安利下，代碼託管在這：https://github.com/hoohack/zhihuSpider。點個star支持一下把。^_^
若文中有不正確的地方，望各位指出以便改正。