PHP cURL實現模擬登陸與採集使用方法詳解教程

時間 2021-08-14

標籤 javascript php html java ios git github web ajax json 欄目 PHP 简体版

原文原文鏈接

本文將經過案例，整合瀏覽器工具與PHP程序，教你如何讓數據唾手可得。javascript

對於作過數據採集的人來講，cURL必定不會陌生。雖然在PHP中有file_get_contents函數能夠獲取遠程連接的數據，可是它的可控制性太差了，對於各類複雜狀況的採集情景，file_get_contents顯得有點無能爲力。所以，本文將爲你介紹採集神器cURL的使用。php

工具

火狐瀏覽器（FireFox） + Firebug

「工欲善其事，必先利其器。」在分析案例以前，先讓咱們學習一下如何利用神器Firebug獲取咱們必要的信息。
使用F12打開Firebug，咱們能夠獲得如圖（一）界面：

箭頭圖標是「元素選擇」工具，單擊一次會高亮圖標，同時，鼠標在頁面內的移動會同時在HTML菜單中選定相應的內容，此時單擊內容則表示選定了該元素，圖標高亮取消。如圖（二）所示：
控制檯
JS裏面的console.log系列函數的打印就是在這裏輸出。
HTML
HTML內容，注意這裏看到的不必定是採集要解析的內容，採集時候對內容的分析，一概以查看源碼（Ctrl+U）爲準，這裏只是能快速定位元素的結構，而後再選擇一個比較特殊的參照，在源碼中定位相應的位置。
好比，你在HTML裏面看到一個標籤是<div id="demo" class="demo">Demo</div>，可是你查看源碼時候看到的內容多是<div class="demo" id="demo">Demo</div>，若是你對採集內容按照前者去作正則匹配，那麼你會得不到結果。
CSS
這裏是CSS文件內容
腳本
這裏是Javascript文件內容
DOM
Dom節點內容
網絡
每個請求連接的數據，這裏是咱們採集要關注和分析的地方，它可以顯示每個請求的參數、請求頭、Cookie數據等。在頁面提交會刷新的狀況下，須要使用保持，使得頁面請求內容在刷新後仍然留着控制檯中，如圖（三）所示：

另外，火狐還有一款 Tamper data 擴展也能獲得請求數據，必要時能夠安裝使用。
Cookies
Cookie數據

在圖（一）中還看到下面有不少可選的小菜單項，其中保持是咱們要關注的，當選擇它的時候，即便提交表單刷新了頁面，下面內容區域的數據仍是會保留，這個對於分析提交數據特別關鍵。

總結

咱們在分析採集請求的時候，主要關心「網絡」菜單裏的請求數據，必要時候使用「保持」以查看刷新頁面的請求數據，請求前可使用「清除」先清除下面的內容。

案例解析

1、簡單的採集

這裏所指的簡單採集，是指一個單一頁面GET請求的採集，它簡單得即便經過file_get_contents函數也能輕鬆得到頁面返回結果。

代碼片斷之file_get_contents

<?php    $url = 'http://demo.zjmainstay.cn/php/curl/simple.html';    $content = file_get_contents($url);    echo $content;

代碼片斷之cURL

<?php    $url = 'http://demo.zjmainstay.cn/php/curl/simple.html';    $ch  = curl_init($url);    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);  //返回數據不直接輸出    $content = curl_exec($ch);                    //執行並存儲結果    curl_close($ch);    echo $content;

2、須要參數的採集

這種狀況，頁面請求須要傳入一些參數，能夠是GET請求，也能夠是POST請求。這種狀況的採集，使用file_get_contents外帶一些參數仍是能夠實現的，可是這裏咱們將再也不展現。

代碼片斷之cURL GET
這種請求，咱們能夠選擇搜索引擎做爲演示，好比我百度搜索一個詞語「PHP cURL」，在輸入回車後，咱們會獲得一個相似http://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&ch=&tn=baidu&bar=&wd=PHP%20cURL的連接，注意這裏的連接可能不一樣瀏覽器、不一樣入口方式訪問獲得不同結果，所以沒必要介意連接是否同樣。經過輸入多個關鍵詞並觀察連接，咱們能夠肯定 wd 參數就是咱們要傳入的動態參數，而其餘參數則能夠不變，所以獲得咱們下面的採集代碼。

<?php    $keyword    = 'PHP cURL';    $url        = 'http://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&ch=&tn=baidu&bar=&wd=' . urlencode($keyword);    $ch  = curl_init($url);    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);  //返回數據不直接輸出    $content = curl_exec($ch);                    //執行並存儲結果    curl_close($ch);    echo $content;

有些時候，一些參數並非必須的，這時候咱們能夠刪掉它，好比上面的連接能夠只保留http://www.baidu.com/s?ie=utf-8&wd=PHP%20cURL，ie=utf-8 這個參數可能影響結果的編碼，因此暫且留着它。就這樣簡單的代碼，咱們就能夠採集到百度搜索的結果了。

代碼片斷之cURL POST
對於POST類型的請求，咱們平時並很多見，好比有些搜索就是使用POST方式提交，這時候咱們就須要使用POST類型來提交參數了。這個在PHP cURL裏面有相應的參數：CURLOPT_POST 和 CURLOPT_POSTFIELDS ， CURLOPT_POST 的設置能夠指定當前提交是否爲POST方式，CURLOPT_POSTFIELDS則用於設定提交的參數，能夠是參數串，也能夠是參數數組，好比：

curl_setopt($ch, CURLOPT_POSTFIELDS, 'ie=utf-8&wd=PHP%20cURL');或curl_setopt($ch, CURLOPT_POSTFIELDS, array(    'ie'    => 'utf-8',    'wd'    => 'PHP%20cURL',));

下面是我作的一個POST模擬搜索PHP POST 搜索，後端是使用了前面的百度關鍵詞搜索，基本原理就是，客戶端提交一個關鍵詞到我服務器，我服務器使用該關鍵詞請求百度的搜索，而後獲得結果，返回到客戶端。
如圖（四）是利用Firebug對請求數據的分析，獲得咱們須要提交的請求連接和請求參數：

而後下面是咱們的代碼：

<?php    $keyword    = 'PHP cURL';    //參數方法一    // $post       = 'wd=' . urlencode($keyword);    //參數方法二    $post       = array(        'wd'        => urlencode($keyword),    );    $url        = 'http://demo.zjmainstay.cn/php/curl/search.php';    $ch  = curl_init($url);    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);  //返回數據不直接輸出    curl_setopt($ch, CURLOPT_POST, 1);            //發送POST類型數據    curl_setopt($ch, CURLOPT_POSTFIELDS, $post);  //POST數據，$post能夠是數組，也能夠是拼接    $content = curl_exec($ch);                    //執行並存儲結果    curl_close($ch);    var_dump($content);

3、須要Referer的採集

對於一些程序，它可能判斷來源網址，若是發現referer不是本身的網站，則拒絕訪問，這時候，咱們就須要添加CURLOPT_REFERER參數，模擬來路，使得程序可以正常採集。

<?php    $keyword    = 'PHP cURL';    //參數方法一    // $post       = 'wd=' . urlencode($keyword);    //參數方法二    $post       = array(        'wd'        => urlencode($keyword),    );    $url        = 'http://demo.zjmainstay.cn/php/curl/search_refer.php';    $refer      = 'http://demo.zjmainstay.cn/';    //來路地址    $ch  = curl_init($url);    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);  //返回數據不直接輸出    curl_setopt($ch, CURLOPT_REFERER, $refer);    //來路模擬    curl_setopt($ch, CURLOPT_POST, 1);            //發送POST類型數據    curl_setopt($ch, CURLOPT_POSTFIELDS, $post);  //POST數據，$post能夠是數組，也能夠是拼接    $content = curl_exec($ch);                    //執行並存儲結果    curl_close($ch);    var_dump($content);

search_refer.php的源碼以下，作了簡單的Referer判斷攔截：

<?php    if(empty($_POST['wd'])) {        exit('Deny empty params.');    }    //Referer判斷    if(stripos($_SERVER['HTTP_REFERER'], $_SERVER['HTTP_HOST']) === false) {        exit('Deny');    }    $keyword    = addslashes(trim(strip_tags($_POST['wd'])));    $url        = 'http://www.baidu.com/s?ie=utf-8&wd=' . urlencode($keyword);    $ch  = curl_init($url);    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);  //返回數據不直接輸出    $content = curl_exec($ch);                    //執行並存儲結果    curl_close($ch);    echo $content;

4、須要cookie支持的採集

對於模擬登陸的應用，單單提交參數和模擬來路並不能解決問題，這時候咱們就須要保存或者提交相應的Cookie參數，這個在PHP cURL裏面也提供了相應的參數:
CURLOPT_COOKIE：直接使用字符串方式提交cookie參數
CURLOPT_COOKIEFILE：使用文件方式提交cookie參數
CURLOPT_COOKIEJAR：保存提交後反饋的cookie數據

（一）模擬登陸示例

下面是PHP100的模擬登陸示例：

<?php header("content-Type: text/html; charset=UTF-8");$cookie_file = tempnam('./temp', 'cookie');$login_url="http://bbs.php100.com/login.php";$post_fields="cktime=36000&step=2&pwuser=username&pwpwd=password";//提交登陸表單請求$ch=curl_init($login_url);curl_setopt($ch,CURLOPT_HEADER,0);curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);curl_setopt($ch,CURLOPT_POST,1);curl_setopt($ch,CURLOPT_POSTFIELDS,$post_fields);curl_setopt($ch,CURLOPT_COOKIEJAR,$cookie_file); //存儲提交後獲得的cookie數據curl_exec($ch);curl_close($ch);//登陸成功後，獲取bbs首頁數據$url="http://bbs.php100.com/index.php";$ch=curl_init($url);curl_setopt($ch,CURLOPT_HEADER,0);curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);curl_setopt($ch,CURLOPT_COOKIEFILE,$cookie_file); //使用提交後獲得的cookie數據作參數$contents=curl_exec($ch);curl_close($ch);//轉碼顯示echo iconv('gbk', 'UTF-8', $contents);

（二）自動模擬登陸實現

最近研究出來一個自動模擬登陸的類，請查看《PHP基於cURL實現自動模擬登陸》瞭解。（補充於2016.7.31）

5、壓縮網頁採集（gzip）

有些沒有接觸過壓縮頁面的朋友估計會在這裏被坑死，由於他們會發現採集回來的內容是亂碼，而且不管使用iconv仍是強大的mb_convert_encoding都沒法還原數據，而後又沒有概念，各類抓狂卻找不到方法，哈哈，我曾經也是這樣~
如圖（五）是亂碼錶現形式：

還好最後功夫不負有心人，仍是找到了，它就是CURLOPT_ENCODING參數。
好比，採集搜狐的新聞時候就遇到gzip壓縮問題，下面是示例：

<?php    $url = 'http://news.sohu.com/';    $ch = curl_init($url);    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //返回數據不直接輸出    curl_setopt($ch, CURLOPT_ENCODING, "gzip"); //指定gzip壓縮    $content = curl_exec($ch); //執行並存儲結果    curl_close($ch);    echo $content;

手冊說明：支持的編碼有"identity"，"deflate"和"gzip"。若是爲空字符串""，請求頭會發送全部支持的編碼類型。
後面一句代表，使用curl_setopt($ch, CURLOPT_ENCODING, "");也是能夠的，可是不能不加這個參數。

6、SSL連接的採集

有些請求連接是https類型的，這時候使用cURL採集可能會失敗，這時候，咱們可使用 var_dump(curl_error($ch));的方法打印錯誤提示，而後根據錯誤提示查找相應的解決方案。好比SSL錯誤常見提示：SSL certificate problem: unable to get local issuer certificate，這時候，咱們就須要利用參數：CURLOPT_SSL_VERIFYPEER 和 CURLOPT_SSL_VERIFYHOST 來禁用SSL證書的驗證，我嘗試過只使用CURLOPT_SSL_VERIFYPEER參數禁用失敗，因此你們最好同時使用兩個參數。
下面是代碼示例：

<?php    $searchStr = 'RC376981638HK';    $post   = 'accion=LocalizaUno&numero='.$searchStr.'&ecorreo=&numeros=';    $url    = 'https://aplicacionesweb.correos.es/localizadorenvios/track.asp';    $ch                 = curl_init($url);              //初始化curl    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);        //返回數據不直接輸出    curl_setopt($ch, CURLOPT_POST, 1);                  //發送POST類型數據    curl_setopt($ch, CURLOPT_POSTFIELDS, $post);        //POST數據，$post能夠是數組，也能夠是拼接參數串    curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);    //SSL 報錯時使用    curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);    //SSL 報錯時使用    $contents = curl_exec($ch);                              //執行並存儲結果    // var_dump(curl_error($ch));                       //獲取失敗是使用（採集錯誤提示）    curl_close($ch);    echo $contents;

今天（2016.8.20）遇到一個錯誤error:14077458:SSL routines:SSL23_GET_SERVER_HELLO:reason(1112)，測試追加參數

//值有0-6，請參考手冊，值1不行試試其餘值curl_setopt($ch, CURLOPT_SSLVERSION, 1);

可解決問題。

7、代理採集

你們都知道，國內存在萬惡的牆，因此，假如咱們須要獲取某些被牆數據時，就須要用到國外代理服務器；又或者咱們須要採集大量數據時，須要不斷切換IP，也會用到代理。
使用代理在PHP cURL裏面有幾個相對應的參數：CURLOPT_PROXY、CURLOPT_PROXYPORT 和 CURLOPT_PROXYUSERPWD，還有另外幾個，這裏不列舉。
CURLOPT_PROXY 指定代理IP參數
CURLOPT_PROXYPORT 指定代理端口參數
CURLOPT_PROXYUSERPWD 指定須要驗證的代理的帳號密碼，"[username]:[password]"格式的字符串

關於代理帳號獲取，你們本身發揮，我這裏提供網上搜索到的一個列表：cURL 高匿代理

下面是代理採集示例：

<?php    $url = 'http://demo.zjmainstay.cn/php/curl/dump_ip.php?t=' . time();    echo "本地IP：" . file_get_contents($url) . "\n僞造IP：";    $ip     = '183.224.1.116';    $port   = '80';    //僞造請求頭參數，若是是高匿代理這裏不須要提供    $header = array(        'X-FORWARDED-FOR: ' . $ip,        'CLIENT-IP: ' . $ip,    );    $ch                 = curl_init($url);  //初始化curl    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);    curl_setopt($ch, CURLOPT_HTTPHEADER, $header);    curl_setopt($ch, CURLOPT_PROXY, $ip);    curl_setopt($ch, CURLOPT_PROXYPORT, $port);    $content = curl_exec($ch);  //執行並存儲結果    curl_close($ch);    echo $content;

8、多線程採集

對於大量採集工做，爲了提升採集效率，使用PHP cURL提供的多線程採集是必不可少的。手冊上提供的多線程採集例子好像都不太好用，我剛開始也從裏面測試了幾個例子，可是發現都是執行卡死，根本沒法執行完成，前幾天忽然又測試了一下，而後發現curl_multi_info_read函數下面的Example #1是能夠執行的，它的內容在$res上，可是沒有打印出來，並且雅虎的請求比較慢，會卡住，前面兩個連接都能正常返回。
不過，還好當時的例子很差用，而後我通過搜索找到了一個很厲害的項目，CurlMulti ，它對PHP cURL Multi 進行了一個良性擴展的封裝，可以很好地提供採集支持。
關於CurlMulti的使用我就很少介紹，官網上面提供了demo，使用過程有技術難題能夠直接加入Q羣（ cURL高級技術 215348766 ）討論，做者@Ares 和其餘的採集大牛都會提供技術解答幫助。
下面是PHP cURL Multi的一個簡單示例：

<?php$urls = array(    array(        'url' => 'http://demo.zjmainstay.cn/php/curl/curl_multi_1.php',        'id' => 1,    ),    array(        'url' => 'http://demo.zjmainstay.cn/php/curl/curl_multi_2.php',        'id' => 2,    ),);$mh = curl_multi_init();$conn = array();foreach ($urls as $urlItem) {    $ch = curl_init($urlItem['url']);    $conn[(int)$ch] = $urlItem;    //記錄資源與參數映射    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);  //不直接輸出結果    curl_multi_add_handle($mh, $ch);}$active = null;$res = array();do {    $status = curl_multi_exec($mh, $active);    $info = curl_multi_info_read($mh);    if (false !== $info) {        //採集信息處理        $res[] = array(            'content'   => curl_multi_getcontent($info['handle']),            'info'      => $info,            'param'     => $conn[(int)$info['handle']],        );        curl_close($info['handle']);    }} while ($status === CURLM_CALL_MULTI_PERFORM || $active);curl_multi_close($mh);var_dump($res);

9、302跳轉（301跳轉）

對於一些應用，好比模擬登陸，若是趕上302跳轉，會致使cookie丟失而使得模擬登陸失敗，請求現象如圖（六）所示：

這個時候，可使用：

curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);

關於CURLOPT_FOLLOWLOCATION，手冊說明是：

啓用時會將服務器服務器返回的"Location: "放在header中遞歸的返回給服務器，使用CURLOPT_MAXREDIRS能夠限定遞歸返回的數量。

我我的理解，通俗點講就是後面的跳轉會繼續跟蹤訪問，並且cookie在header裏面被保留了下來。

10、模擬上傳文件

（一）基於本地文件上傳

在PHP手冊的curl_setopt函數中，關於CURLOPT_POSTFIELDS有以下描述：

所有數據使用HTTP協議中的"POST"操做來發送。要發送文件，在文件名前面加上@前綴並使用完整路徑。這個參數能夠經過urlencoded後的字符串相似'para1=val1&para2=val2&...'或使用一個以字段名爲鍵值，字段數據爲值的數組。若是value是一個數組，Content-Type頭將會被設置成multipart/form-data。

對於上傳文件，這句話包含兩個信息：
1. 要上傳文件，post的數據參數必須使用數組，使得Content-Type頭將會被設置成multipart/form-data。
2. 要上傳文件，在文件名前面加上@前綴並使用完整路徑。
注意：PHP 5.5.0起，文件上傳建議使用CURLFile代替@

所以，模擬文件上傳能夠按照以下實現：

（1）單文件上傳

//上傳D盤下的test.jpg文件，文件必須存在，不然curl處理失敗且沒有任何提示$data = array('name' => 'Foo', 'file' => '@d:/test.jpg');注： PHP 5.5.0起，文件上傳建議使用CURLFile代替@$ch = curl_init('http://localhost/upload.php');curl_setopt($ch, CURLOPT_POST, 1);curl_setopt($ch, CURLOPT_POSTFIELDS, $data);curl_exec($ch);

本地測試的時候，在upload.php文件中打印出$_POST和$_FILES便可驗證是否上傳成功，以下：

<?php    print_r($_POST);    print_r($_FILES);

輸出結果相似：

Array ( [name] => Foo ) Array ( [file] => Array ( [name] => test.jpg [type] => application/octet-stream [tmp_name] => D:\xampp\tmp\php2EA0.tmp [error] => 0 [size] => 139999 ) )

（2）多文件上傳

<?php    // 注： PHP 5.5.0起，文件上傳建議使用CURLFile代替@    // 多文件上傳    $data = array(        'input_file[0]' => new CURLFile('d:/1.txt', 'text/plain', 'testfile.txt'),        'input_file[1]' => new CURLFile('d:/2.txt', 'text/plain'),        'input_file[2]' => new CURLFile('d:/3.txt', 'text/plain'),    );    $ch = curl_init('http://demo.zjmainstay.cn/php/curl/curlUploadHandler.php');    curl_setopt($ch, CURLOPT_POST, 1);    curl_setopt($ch, CURLOPT_POSTFIELDS, $data);    curl_exec($ch);

輸出結果相似：

Array ( [upload_file] => Array ( [name] => Array ( [0] => 1.txt [1] => 2.txt [2] => 3.txt ) [type] => Array ( [0] => text/plain [1] => text/plain [2] => text/plain ) [tmp_name] => Array ( [0] => /tmp/phpkQ75hZ [1] => /tmp/phpuVB5La [2] => /tmp/phpu1z5fm ) [error] => Array ( [0] => 0 [1] => 0 [2] => 0 ) [size] => Array ( [0] => 2 [1] => 2 [2] => 2 ) ) )

（3）CURLOPT_POSTFIELDS使用字符串與數組的區別

關於CURLOPT_POSTFIELDS的賦值，另外補充一句描述：

傳遞一個數組到CURLOPT_POSTFIELDS，cURL會把數據編碼成 multipart/form-data，而然傳遞一個URL-encoded字符串時，數據會被編碼成 application/x-www-form-urlencoded。

即：

curl_setopt($ch, CURLOPT_POSTFIELDS, 'param1=val1&param2=val2&...');和curl_setopt($ch, CURLOPT_POSTFIELDS, array('param1' => 'val1', 'param2' => 'val2', ...));

至關於html的form表單中：

<form method="post" action="upload.php">

和

<form method="post" action="upload.php" enctype="multipart/form-data">

的區別。

（二）基於採集文件內容上傳

對於數據採集回來的文件內容，有時候須要再次上傳到其餘的文件服務器上，此時，若是本地先存儲再利用上面的方式提交到文件服務器，顯然會多了一次IO寫入和讀取操做，對於這種狀況，咱們能夠利用構造模擬上傳請求頭和構造數據報文，直接利用採集回來的文件內容上傳到文件服務器：

<?php/** * @author 若是的若是 * PHP利用cURL直接以文件內容形式上傳文件 * @param  string $url        文件上傳處理連接 * @param  array $fileFields  文件上傳數據數組 * @param  array  $postFields 非文件表單數據數組 * @param  array  $curlOpt    擴展的CURLOPT_數據 * @return string */function curlPostMemoryFile($url, $fileFields, $postFields = array(), $curlOpt = array()){    //構造post數據    $data = '';    $delimiter = '-------------' . uniqid();    // 表單數據    foreach ($postFields as $name => $content) {        $data .= "--" . $delimiter . "\r\n";        $data .= 'Content-Disposition: form-data; name="' . $name . '"';        $data .= "\r\n\r\n";        $data .= $content;        $data .= "\r\n";        //$data .= "--" . $delimiter . "\r\n";    }    // 文件上傳數據    foreach ($fileFields as $inputName => $file) {        $data .= "--" . $delimiter . "\r\n";        $data .= 'Content-Disposition: form-data; name="' . $inputName . '";' .                ' filename="' . $file['filename'] . '"' . "\r\n";        $data .= 'Content-Type: ' . $file['type'] . "\r\n";        $data .= "\r\n";        $data .= $file['content'] . "\r\n";    }    $data .= "--" . $delimiter . "--\r\n";    //post請求提交文件上傳數據    $handle = curl_init($url);    curl_setopt($handle, CURLOPT_RETURNTRANSFER, 1);  //返回數據不直接輸出    $header = array(        'Content-Type: multipart/form-data; boundary=' . $delimiter,        'Content-Length: ' . strlen($data)    );    if(isset($curlOpt[CURLOPT_HTTPHEADER])) {        $header = array_merge($header, $curlOpt[CURLOPT_HTTPHEADER]);        unset($curlOpt[CURLOPT_HTTPHEADER]);    }    curl_setopt($handle, CURLOPT_HTTPHEADER , $header);    curl_setopt($handle, CURLOPT_POST, true);    curl_setopt($handle, CURLOPT_POSTFIELDS, $data);    if(!empty($curlOpt)){        foreach($curlOpt as $key => $val){            curl_setopt($handle,$key,$val);        }    }    return curl_exec($handle);}//演示$url = 'http://demo.zjmainstay.cn/php/curl/curlUploadHandler.php';$filename = 'test.txt';$fileContent = '測試直接文件內容形式上傳文件';$fileFields = array(    'upload_file' => array(        'filename' => $filename,        #從正常上傳時的post數據中查看，對應$_FILES裏的type        'type'     => 'text/plain',        'content'  => $fileContent,    ),);$postFields = array(    'name' => 'Zjmainstay',    'age'  => '26',);//此處測試CURLOPT_HTTPHEADER的合併$header = array(    'Host: demo.zjmainstay.cn' ,);$curlOpt = array(    CURLOPT_HTTPHEADER => $header,);$content = curlPostMemoryFile($url, $fileFields, $postFields, $curlOpt);var_dump($content);

11、發送與獲取json數據

發送json數據，在控制檯中的表現主要如圖（七）所示：

第一條發送的是json格式的數據，
第二條發送的是以\n分割的數據，
第三條發送的是以&分割的數據。
這個在ajax請求的時候，只須要添加contentType參數便可，如：

var data = ["name:Zjmainstay", "website:http://www.zjmainstay.cn"];$.ajax({    url: 'http://test.com/curl/testPostJsonData.php',    type: 'post',    data: data.join("\n"),    contentType: 'text/plain',    success: function(result) {        console.log(result);    },    error: function(msg) {        console.log(msg);    }});

對於這類發送json數據的請求，複製cURL命令時，你會發現其中根本沒有發送數據，如：

curl 'http://test.com/curl/testPostJsonData.php' -X POST -H 'Accept: */*' -H 'Accept-Encoding: gzip, deflate' -H 'Accept-Language: zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3' -H 'Cache-Control: max-age=0' -H 'Connection: keep-alive' -H 'Content-Length: 48' -H 'Content-Type: text/plain' -H 'Cookie: __utma=99889051.942646074.1467634856.1467634856.1467636947.2' -H 'Host: test.com' -H 'Referer: http://test.com/curl/ajaxJsonData.html' -H 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.10; rv:47.0) Gecko/20100101 Firefox/47.0' -H 'X-Requested-With: XMLHttpRequest'

對於這種數據，咱們要用PHP cURL模擬發送的話，須要發送相應的header參數，示例：

<?php    #json數據    $url = 'http://test.com/curl/testPostJsonData.php';    $data = '{"a":"b"}';    $length = strlen($data);    $header = array(        'Content-Length: ' . $length,   //不是必需的        'Content-Type: text/json',    );    $ch                 = curl_init($url);  //初始化curl    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);    curl_setopt($ch, CURLOPT_HTTPHEADER, $header);    curl_setopt($ch, CURLOPT_POST, 1);    curl_setopt($ch, CURLOPT_POSTFIELDS, $data);    $content = curl_exec($ch);  //執行並存儲結果    curl_close($ch);    echo $content;    #\n分割數據    $data = [        'name:Zjmainstay',        'website:http://www.zjmainstay.cn',    ];    $data = implode("\n", $data);    #&分割數據    $data = 'name:Zjmainstay&website:http://www.zjmainstay.cn';

對於$.ajax咱們經常會使用這種寫法來指定返回json格式數據：

$.ajax({    url: url,    dataType: 'json',    ...});

咱們會發現，cURL請求頭Accept:部分會多出一些參數：

-H 'Accept: application/json, text/javascript, */*; q=0.01'

所以，若是須要指定返回內容做爲json格式，咱們就須要指定application/json格式。

那麼，對於這種給服務器端發送json數據的程序，服務器端是怎麼獲得請求數據的呢？
若是大家作過嘗試，必定會發現此時$_POST是空的，咱們要使用php://input進行數據獲取，示例：

$postData = file_get_contents('php://input');

總結

通用curl頁面採集函數：PHP通用curl頁面採集函數

PHP cURL是一個很強大的採集工具，curl_setopt裏面還有不少參數，讀者能夠抽空總體看一遍，雖然平時未必用得上，可是至少作到內心有底，知道都有哪些參數，必要時還能找出來使用。採集是一項大工程，使用過程當中遇到的問題還會很多，可是隻要學會分析和資料搜索，一切都會迎刃而解的，你們加油！哈哈~~