對於作過數據採集的人來講,cURL必定不會陌生。雖然在PHP中有file_get_contents函數能夠獲取遠程連接的數據,可是它的可控制性太差了,對於各類複雜狀況的採集情景,file_get_contents顯得有點無能爲力。所以,本文將爲你介紹採集神器cURL的使用。php
工具
火狐瀏覽器(FireFox) + Firebug
「工欲善其事,必先利其器。」 在分析案例以前,先讓咱們學習一下如何利用神器Firebug獲取咱們必要的信息。
使用F12打開Firebug,咱們能夠獲得如圖(一)界面: html
-
箭頭圖標是「元素選擇」工具,單擊一次會高亮圖標,同時,鼠標在頁面內的移動會同時在HTML菜單中選定相應的內容,此時單擊內容則表示選定了該元素,圖標高亮取消。如圖(二)所示:
java
-
控制檯
JS裏面的console.log系列函數的打印就是在這裏輸出。ios - HTML
HTML內容,注意這裏看到的不必定是採集要解析的內容,採集時候對內容的分析,一概以查看源碼(Ctrl+U)爲準,這裏只是能快速定位元素的結構,而後再選擇一個比較特殊的參照,在源碼中定位相應的位置。
好比,你在HTML裏面看到一個標籤是<div id="demo" class="demo">Demo</div>
,可是你查看源碼時候看到的內容多是<div class="demo" id="demo">Demo</div>
,若是你對採集內容按照前者去作正則匹配,那麼你會得不到結果。 - CSS
這裏是CSS文件內容 - 腳本
這裏是Javascript文件內容 - DOM
Dom節點內容 - 網絡
每個請求連接的數據,這裏是咱們採集要關注和分析的地方,它可以顯示每個請求的參數、請求頭、Cookie數據等。在頁面提交會刷新的狀況下,須要使用保持,使得頁面請求內容在刷新後仍然留着控制檯中,如圖(三)所示:
另外,火狐還有一款 Tamper data 擴展也能獲得請求數據,必要時能夠安裝使用。 - Cookies
Cookie數據
在圖(一)中還看到下面有不少可選的小菜單項,其中保持是咱們要關注的,當選擇它的時候,即便提交表單刷新了頁面,下面內容區域的數據仍是會保留,這個對於分析提交數據特別關鍵。git
總結
咱們在分析採集請求的時候,主要關心「網絡」菜單裏的請求數據,必要時候使用「保持」以查看刷新頁面的請求數據,請求前可使用「清除」先清除下面的內容。github
案例解析
1、簡單的採集
這裏所指的簡單採集,是指一個單一頁面GET請求的採集,它簡單得即便經過file_get_contents函數也能輕鬆得到頁面返回結果。web
- 代碼片斷之file_get_contents
<?php
$url = 'http://demo.zjmainstay.cn/php/curl/simple.html';
$content = file_get_contents($url);
echo $content;
- 代碼片斷之cURL
<?php
$url = 'http://demo.zjmainstay.cn/php/curl/simple.html';
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //返回數據不直接輸出
$content = curl_exec($ch); //執行並存儲結果
curl_close($ch);
echo $content;
2、須要參數的採集
這種狀況,頁面請求須要傳入一些參數,能夠是GET請求,也能夠是POST請求。這種狀況的採集,使用file_get_contents外帶一些參數仍是能夠實現的,可是這裏咱們將再也不展現。ajax
- 代碼片斷之cURL GET
這種請求,咱們能夠選擇搜索引擎做爲演示,好比我百度搜索一個詞語「PHP cURL」,在輸入回車後,咱們會獲得一個相似http://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&ch=&tn=baidu&bar=&wd=PHP%20cURL
的連接,注意這裏的連接可能不一樣瀏覽器、不一樣入口方式訪問獲得不同結果,所以沒必要介意連接是否同樣。經過輸入多個關鍵詞並觀察連接,咱們能夠肯定 wd 參數就是咱們要傳入的動態參數,而其餘參數則能夠不變,所以獲得咱們下面的採集代碼。
<?php
$keyword = 'PHP cURL';
$url = 'http://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&ch=&tn=baidu&bar=&wd=' . urlencode($keyword);
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //返回數據不直接輸出
$content = curl_exec($ch); //執行並存儲結果
curl_close($ch);
echo $content;
有些時候,一些參數並非必須的,這時候咱們能夠刪掉它,好比上面的連接能夠只保留http://www.baidu.com/s?ie=utf-8&wd=PHP%20cURL
,ie=utf-8 這個參數可能影響結果的編碼,因此暫且留着它。就這樣簡單的代碼,咱們就能夠採集到百度搜索的結果了。json
- 代碼片斷之cURL POST
對於POST類型的請求,咱們平時並很多見,好比有些搜索就是使用POST方式提交,這時候咱們就須要使用POST類型來提交參數了。這個在PHP cURL裏面有相應的參數:CURLOPT_POST 和 CURLOPT_POSTFIELDS , CURLOPT_POST 的設置能夠指定當前提交是否爲POST方式,CURLOPT_POSTFIELDS則用於設定提交的參數,能夠是參數串,也能夠是參數數組,好比:
curl_setopt($ch, CURLOPT_POSTFIELDS, 'ie=utf-8&wd=PHP%20cURL');
或
curl_setopt($ch, CURLOPT_POSTFIELDS, array(
'ie' => 'utf-8',
'wd' => 'PHP%20cURL',
));
下面是我作的一個POST模擬搜索PHP POST 搜索,後端是使用了前面的百度關鍵詞搜索,基本原理就是,客戶端提交一個關鍵詞到我服務器,我服務器使用該關鍵詞請求百度的搜索,而後獲得結果,返回到客戶端。
如圖(四)是利用Firebug對請求數據的分析,獲得咱們須要提交的請求連接和請求參數:
而後下面是咱們的代碼:
<?php
$keyword = 'PHP cURL';
//參數方法一
// $post = 'wd=' . urlencode($keyword);
//參數方法二
$post = array(
'wd' => urlencode($keyword),
);
$url = 'http://demo.zjmainstay.cn/php/curl/search.php';
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //返回數據不直接輸出
curl_setopt($ch, CURLOPT_POST, 1); //發送POST類型數據
curl_setopt($ch, CURLOPT_POSTFIELDS, $post); //POST數據,$post能夠是數組,也能夠是拼接
$content = curl_exec($ch); //執行並存儲結果
curl_close($ch);
var_dump($content);
3、須要Referer的採集
對於一些程序,它可能判斷來源網址,若是發現referer不是本身的網站,則拒絕訪問,這時候,咱們就須要添加CURLOPT_REFERER參數,模擬來路,使得程序可以正常採集。
<?php
$keyword = 'PHP cURL';
//參數方法一
// $post = 'wd=' . urlencode($keyword);
//參數方法二
$post = array(
'wd' => urlencode($keyword),
);
$url = 'http://demo.zjmainstay.cn/php/curl/search_refer.php';
$refer = 'http://demo.zjmainstay.cn/'; //來路地址
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //返回數據不直接輸出
curl_setopt($ch, CURLOPT_REFERER, $refer); //來路模擬
curl_setopt($ch, CURLOPT_POST, 1); //發送POST類型數據
curl_setopt($ch, CURLOPT_POSTFIELDS, $post); //POST數據,$post能夠是數組,也能夠是拼接
$content = curl_exec($ch); //執行並存儲結果
curl_close($ch);
var_dump($content);
search_refer.php
的源碼以下,作了簡單的Referer判斷攔截:
<?php
if(empty($_POST['wd'])) {
exit('Deny empty params.');
}
//Referer判斷
if(stripos($_SERVER['HTTP_REFERER'], $_SERVER['HTTP_HOST']) === false) {
exit('Deny');
}
$keyword = addslashes(trim(strip_tags($_POST['wd'])));
$url = 'http://www.baidu.com/s?ie=utf-8&wd=' . urlencode($keyword);
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //返回數據不直接輸出
$content = curl_exec($ch); //執行並存儲結果
curl_close($ch);
echo $content;
4、須要cookie支持的採集
對於模擬登陸的應用,單單提交參數和模擬來路並不能解決問題,這時候咱們就須要保存或者提交相應的Cookie參數,這個在PHP cURL裏面也提供了相應的參數:
CURLOPT_COOKIE: 直接使用字符串方式提交cookie參數
CURLOPT_COOKIEFILE: 使用文件方式提交cookie參數
CURLOPT_COOKIEJAR: 保存提交後反饋的cookie數據
(一)模擬登陸示例
下面是PHP100的模擬登陸示例:
<?php
header("content-Type: text/html; charset=UTF-8");
$cookie_file = tempnam('./temp', 'cookie');
$login_url="http://bbs.php100.com/login.php";
$post_fields="cktime=36000&step=2&pwuser=username&pwpwd=password";
//提交登陸表單請求
$ch=curl_init($login_url);
curl_setopt($ch,CURLOPT_HEADER,0);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch,CURLOPT_POST,1);
curl_setopt($ch,CURLOPT_POSTFIELDS,$post_fields);
curl_setopt($ch,CURLOPT_COOKIEJAR,$cookie_file); //存儲提交後獲得的cookie數據
curl_exec($ch);
curl_close($ch);
//登陸成功後,獲取bbs首頁數據
$url="http://bbs.php100.com/index.php";
$ch=curl_init($url);
curl_setopt($ch,CURLOPT_HEADER,0);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch,CURLOPT_COOKIEFILE,$cookie_file); //使用提交後獲得的cookie數據作參數
$contents=curl_exec($ch);
curl_close($ch);
//轉碼顯示
echo iconv('gbk', 'UTF-8', $contents);
(二)自動模擬登陸實現
最近研究出來一個自動模擬登陸的類,請查看《PHP基於cURL實現自動模擬登陸》瞭解。(補充於2016.7.31)
5、壓縮網頁採集(gzip)
有些沒有接觸過壓縮頁面的朋友估計會在這裏被坑死,由於他們會發現採集回來的內容是亂碼,而且不管使用iconv仍是強大的mb_convert_encoding都沒法還原數據,而後又沒有概念,各類抓狂卻找不到方法,哈哈,我曾經也是這樣~
如圖(五)是亂碼錶現形式:
還好最後功夫不負有心人,仍是找到了,它就是CURLOPT_ENCODING參數。
好比,採集搜狐的新聞時候就遇到gzip壓縮問題,下面是示例:
<?php
$url = 'http://news.sohu.com/';
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //返回數據不直接輸出
curl_setopt($ch, CURLOPT_ENCODING, "gzip"); //指定gzip壓縮
$content = curl_exec($ch); //執行並存儲結果
curl_close($ch);
echo $content;
手冊說明:支持的編碼有"identity","deflate"和"gzip"。若是爲空字符串"",請求頭會發送全部支持的編碼類型。
後面一句代表,使用curl_setopt($ch, CURLOPT_ENCODING, "");
也是能夠的,可是不能不加這個參數。
6、SSL連接的採集
有些請求連接是https類型的,這時候使用cURL採集可能會失敗,這時候,咱們可使用 var_dump(curl_error($ch));
的方法打印錯誤提示,而後根據錯誤提示查找相應的解決方案。好比SSL錯誤常見提示:SSL certificate problem: unable to get local issuer certificate
,這時候,咱們就須要利用參數:CURLOPT_SSL_VERIFYPEER 和 CURLOPT_SSL_VERIFYHOST 來禁用SSL證書的驗證,我嘗試過只使用CURLOPT_SSL_VERIFYPEER參數禁用失敗,因此你們最好同時使用兩個參數。
下面是代碼示例:
<?php
$searchStr = 'RC376981638HK';
$post = 'accion=LocalizaUno&numero='.$searchStr.'&ecorreo=&numeros=';
$url = 'https://aplicacionesweb.correos.es/localizadorenvios/track.asp';
$ch = curl_init($url); //初始化curl
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //返回數據不直接輸出
curl_setopt($ch, CURLOPT_POST, 1); //發送POST類型數據
curl_setopt($ch, CURLOPT_POSTFIELDS, $post); //POST數據,$post能夠是數組,也能夠是拼接參數串
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); //SSL 報錯時使用
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false); //SSL 報錯時使用
$contents = curl_exec($ch); //執行並存儲結果
// var_dump(curl_error($ch)); //獲取失敗是使用(採集錯誤提示)
curl_close($ch);
echo $contents;
今天(2016.8.20)遇到一個錯誤error:14077458:SSL routines:SSL23_GET_SERVER_HELLO:reason(1112)
,測試追加參數
//值有0-6,請參考手冊,值1不行試試其餘值
curl_setopt($ch, CURLOPT_SSLVERSION, 1);
可解決問題。
7、代理採集
你們都知道,國內存在萬惡的牆,因此,假如咱們須要獲取某些被牆數據時,就須要用到國外代理服務器;又或者咱們須要採集大量數據時,須要不斷切換IP,也會用到代理。
使用代理在PHP cURL裏面有幾個相對應的參數:CURLOPT_PROXY、CURLOPT_PROXYPORT 和 CURLOPT_PROXYUSERPWD,還有另外幾個,這裏不列舉。
CURLOPT_PROXY 指定代理IP參數
CURLOPT_PROXYPORT 指定代理端口參數
CURLOPT_PROXYUSERPWD 指定須要驗證的代理的帳號密碼,"[username]:[password]"格式的字符串
關於代理帳號獲取,你們本身發揮,我這裏提供網上搜索到的一個列表:cURL 高匿代理
下面是代理採集示例:
<?php
$url = 'http://demo.zjmainstay.cn/php/curl/dump_ip.php?t=' . time();
echo "本地IP:" . file_get_contents($url) . "\n僞造IP:";
$ip = '183.224.1.116';
$port = '80';
//僞造請求頭參數,若是是高匿代理這裏不須要提供
$header = array(
'X-FORWARDED-FOR: ' . $ip,
'CLIENT-IP: ' . $ip,
);
$ch = curl_init($url); //初始化curl
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HTTPHEADER, $header);
curl_setopt($ch, CURLOPT_PROXY, $ip);
curl_setopt($ch, CURLOPT_PROXYPORT, $port);
$content = curl_exec($ch); //執行並存儲結果
curl_close($ch);
echo $content;
8、 多線程採集
對於大量採集工做,爲了提升採集效率,使用PHP cURL提供的多線程採集是必不可少的。手冊上提供的多線程採集例子好像都不太好用,我剛開始也從裏面測試了幾個例子,可是發現都是執行卡死,根本沒法執行完成,前幾天忽然又測試了一下,而後發現curl_multi_info_read函數下面的Example #1是能夠執行的,它的內容在$res
上,可是沒有打印出來,並且雅虎的請求比較慢,會卡住,前面兩個連接都能正常返回。
不過,還好當時的例子很差用,而後我通過搜索找到了一個很厲害的項目,CurlMulti ,它對PHP cURL Multi 進行了一個良性擴展的封裝,可以很好地提供採集支持。
關於CurlMulti的使用我就很少介紹,官網上面提供了demo,使用過程有技術難題能夠直接加入Q羣( cURL高級技術 215348766 )討論,做者@Ares 和其餘的採集大牛都會提供技術解答幫助。
下面是PHP cURL Multi的一個簡單示例:
<?php
$urls = array(
array(
'url' => 'http://demo.zjmainstay.cn/php/curl/curl_multi_1.php',
'id' => 1,
),
array(
'url' => 'http://demo.zjmainstay.cn/php/curl/curl_multi_2.php',
'id' => 2,
),
);
$mh = curl_multi_init();
$conn = array();
foreach ($urls as $urlItem) {
$ch = curl_init($urlItem['url']);
$conn[(int)$ch] = $urlItem; //記錄資源與參數映射
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //不直接輸出結果
curl_multi_add_handle($mh, $ch);
}
$active = null;
$res = array();
do {
$status = curl_multi_exec($mh, $active);
$info = curl_multi_info_read($mh);
if (false !== $info) {
//採集信息處理
$res[] = array(
'content' => curl_multi_getcontent($info['handle']),
'info' => $info,
'param' => $conn[(int)$info['handle']],
);
curl_close($info['handle']);
}
} while ($status === CURLM_CALL_MULTI_PERFORM || $active);
curl_multi_close($mh);
var_dump($res);
9、302跳轉(301跳轉)
對於一些應用,好比模擬登陸,若是趕上302跳轉,會致使cookie丟失而使得模擬登陸失敗,請求現象如圖(六)所示:
這個時候,可使用:
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
關於CURLOPT_FOLLOWLOCATION,手冊說明是:
啓用時會將服務器服務器返回的"Location: "放在header中遞歸的返回給服務器,使用CURLOPT_MAXREDIRS能夠限定遞歸返回的數量。
我我的理解,通俗點講就是後面的跳轉會繼續跟蹤訪問,並且cookie在header裏面被保留了下來。
10、模擬上傳文件
(一)基於本地文件上傳
在PHP手冊的curl_setopt函數中,關於CURLOPT_POSTFIELDS有以下描述:
所有數據使用HTTP協議中的"POST"操做來發送。要發送文件,在文件名前面加上@前綴並使用完整路徑。這個參數能夠經過urlencoded後的字符串相似'para1=val1¶2=val2&...'或使用一個以字段名爲鍵值,字段數據爲值的數組。若是value是一個數組,Content-Type頭將會被設置成multipart/form-data。
對於上傳文件,這句話包含兩個信息:
1. 要上傳文件,post的數據參數必須使用數組,使得Content-Type頭將會被設置成multipart/form-data。
2. 要上傳文件,在文件名前面加上@前綴並使用完整路徑。
注意:PHP 5.5.0起,文件上傳建議使用CURLFile代替@
所以,模擬文件上傳能夠按照以下實現:
(1)單文件上傳
//上傳D盤下的test.jpg文件,文件必須存在,不然curl處理失敗且沒有任何提示,Windows下中文文件名上傳失敗時,可以使用iconv('UTF-8', 'GBK//IGNORE', $filename)轉碼下文件名再上傳。
$data = array('name' => 'Foo', 'file' => '@d:/test.jpg');
注: PHP 5.5.0起,文件上傳建議使用CURLFile代替@
$ch = curl_init('http://localhost/upload.php');
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, $data);
curl_exec($ch);
本地測試的時候,在upload.php文件中打印出$_POST和$_FILES便可驗證是否上傳成功,以下:
<?php
print_r($_POST);
print_r($_FILES);
輸出結果相似:
Array ( [name] => Foo ) Array ( [file] => Array ( [name] => test.jpg [type] => application/octet-stream [tmp_name] => D:\xampp\tmp\php2EA0.tmp [error] => 0 [size] => 139999 ) )
(2)多文件上傳
<?php
// 注: PHP 5.5.0起,文件上傳建議使用CURLFile代替@
// 多文件上傳
$data = array(
'input_file[0]' => new CURLFile('d:/1.txt', 'text/plain', 'testfile.txt'),
'input_file[1]' => new CURLFile('d:/2.txt', 'text/plain'),
'input_file[2]' => new CURLFile('d:/3.txt', 'text/plain'),
);
$ch = curl_init('http://demo.zjmainstay.cn/php/curl/curlUploadHandler.php');
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, $data);
curl_exec($ch);
輸出結果相似:
Array ( [upload_file] => Array ( [name] => Array ( [0] => 1.txt [1] => 2.txt [2] => 3.txt ) [type] => Array ( [0] => text/plain [1] => text/plain [2] => text/plain ) [tmp_name] => Array ( [0] => /tmp/phpkQ75hZ [1] => /tmp/phpuVB5La [2] => /tmp/phpu1z5fm ) [error] => Array ( [0] => 0 [1] => 0 [2] => 0 ) [size] => Array ( [0] => 2 [1] => 2 [2] => 2 ) ) )
(3)CURLOPT_POSTFIELDS使用字符串與數組的區別
關於CURLOPT_POSTFIELDS的賦值,另外補充一句描述:
傳遞一個數組到CURLOPT_POSTFIELDS,cURL會把數據編碼成 multipart/form-data,而然傳遞一個URL-encoded字符串時,數據會被編碼成 application/x-www-form-urlencoded。
即:
curl_setopt($ch, CURLOPT_POSTFIELDS, 'param1=val1¶m2=val2&...');
和
curl_setopt($ch, CURLOPT_POSTFIELDS, array('param1' => 'val1', 'param2' => 'val2', ...));
至關於html的form表單中:
<form method="post" action="upload.php">
和
<form method="post" action="upload.php" enctype="multipart/form-data">
的區別。
(二)基於採集文件內容上傳
對於數據採集回來的文件內容,有時候須要再次上傳到其餘的文件服務器上,此時,若是本地先存儲再利用上面的方式提交到文件服務器,顯然會多了一次IO寫入和讀取操做,對於這種狀況,咱們能夠利用構造模擬上傳請求頭和構造數據報文,直接利用採集回來的文件內容上傳到文件服務器:
<?php
/**
* @author 若是的若是
* PHP利用cURL直接以文件內容形式上傳文件
* @param string $url 文件上傳處理連接
* @param array $fileFields 文件上傳數據數組
* @param array $postFields 非文件表單數據數組
* @param array $curlOpt 擴展的CURLOPT_數據
* @return string
*/
function curlPostMemoryFile($url, $fileFields, $postFields = array(), $curlOpt = array()){
//構造post數據
$data = '';
$delimiter = '-------------' . uniqid();
// 表單數據
foreach ($postFields as $name => $content) {
$data .= "--" . $delimiter . "\r\n";
$data .= 'Content-Disposition: form-data; name="' . $name . '"';
$data .= "\r\n\r\n";
$data .= $content;
$data .= "\r\n";
//$data .= "--" . $delimiter . "\r\n";
}
// 文件上傳數據
foreach ($fileFields as $inputName => $file) {
$data .= "--" . $delimiter . "\r\n";
$data .= 'Content-Disposition: form-data; name="' . $inputName . '";' .
' filename="' . $file['filename'] . '"' . "\r\n";
$data .= 'Content-Type: ' . $file['type'] . "\r\n";
$data .= "\r\n";
$data .= $file['content'] . "\r\n";
}
$data .= "--" . $delimiter . "--\r\n";
//post請求提交文件上傳數據
$handle = curl_init($url);
curl_setopt($handle, CURLOPT_RETURNTRANSFER, 1); //返回數據不直接輸出
$header = array(
'Content-Type: multipart/form-data; boundary=' . $delimiter,
'Content-Length: ' . strlen($data)
);
if(isset($curlOpt[CURLOPT_HTTPHEADER])) {
$header = array_merge($header, $curlOpt[CURLOPT_HTTPHEADER]);
unset($curlOpt[CURLOPT_HTTPHEADER]);
}
curl_setopt($handle, CURLOPT_HTTPHEADER , $header);
curl_setopt($handle, CURLOPT_POST, true);
curl_setopt($handle, CURLOPT_POSTFIELDS, $data);
if(!empty($curlOpt)){
foreach($curlOpt as $key => $val){
curl_setopt($handle,$key,$val);
}
}
return curl_exec($handle);
}
//演示
$url = 'http://demo.zjmainstay.cn/php/curl/curlUploadHandler.php';
$filename = 'test.txt';
$fileContent = '測試直接文件內容形式上傳文件';
$fileFields = array(
'upload_file' => array(
'filename' => $filename,
#從正常上傳時的post數據中查看,對應$_FILES裏的type
'type' => 'text/plain',
'content' => $fileContent,
),
);
$postFields = array(
'name' => 'Zjmainstay',
'age' => '26',
);
//此處測試CURLOPT_HTTPHEADER的合併
$header = array(
'Host: demo.zjmainstay.cn' ,
);
$curlOpt = array(
CURLOPT_HTTPHEADER => $header,
);
$content = curlPostMemoryFile($url, $fileFields, $postFields, $curlOpt);
var_dump($content);
11、發送與獲取json數據
發送json數據,在控制檯中的表現主要如圖(七)所示:
第一條發送的是json格式的數據,
第二條發送的是以\n
分割的數據,
第三條發送的是以&
分割的數據。
這個在ajax請求的時候,只須要添加contentType參數便可,如:
var data = ["name:Zjmainstay", "website:http://www.zjmainstay.cn"];
$.ajax({
url: 'http://test.com/curl/testPostJsonData.php',
type: 'post',
data: data.join("\n"),
contentType: 'text/plain',
success: function(result) {
console.log(result);
},
error: function(msg) {
console.log(msg);
}
});
對於這類發送json數據的請求,複製cURL命令時,你會發現其中根本沒有發送數據,如:
curl 'http://test.com/curl/testPostJsonData.php' -X POST -H 'Accept: */*' -H 'Accept-Encoding: gzip, deflate' -H 'Accept-Language: zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3' -H 'Cache-Control: max-age=0' -H 'Connection: keep-alive' -H 'Content-Length: 48' -H 'Content-Type: text/plain' -H 'Cookie: __utma=99889051.942646074.1467634856.1467634856.1467636947.2' -H 'Host: test.com' -H 'Referer: http://test.com/curl/ajaxJsonData.html' -H 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.10; rv:47.0) Gecko/20100101 Firefox/47.0' -H 'X-Requested-With: XMLHttpRequest'
對於這種數據,咱們要用PHP cURL模擬發送的話,須要發送相應的header參數,示例:
<?php
#json數據
$url = 'http://test.com/curl/testPostJsonData.php';
$data = '{"a":"b"}';
$length = strlen($data);
$header = array(
'Content-Length: ' . $length, //不是必需的
'Content-Type: text/json',
);
$ch = curl_init($url); //初始化curl
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HTTPHEADER, $header);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, $data);
$content = curl_exec($ch); //執行並存儲結果
curl_close($ch);
echo $content;
#\n分割數據
$data = [
'name:Zjmainstay',
'website:http://www.zjmainstay.cn',
];
$data = implode("\n", $data);
#&分割數據
$data = 'name:Zjmainstay&website:http://www.zjmainstay.cn';
對於$.ajax
咱們經常會使用這種寫法來指定返回json格式數據:
$.ajax({
url: url,
dataType: 'json',
...
});
咱們會發現,cURL請求頭Accept:
部分會多出一些參數:
-H 'Accept: application/json, text/javascript, */*; q=0.01'
所以,若是須要指定返回內容做爲json格式,咱們就須要指定application/json
格式。
那麼,對於這種給服務器端發送json數據的程序,服務器端是怎麼獲得請求數據的呢?
若是大家作過嘗試,必定會發現此時$_POST
是空的,咱們要使用php://input
進行數據獲取,示例:
$postData = file_get_contents('php://input');
12、POST提交大數據(超過1024字節)異常解決方法
在使用cURL作POST的時候,當要POST的數據大於1024字節的時候,cURL並不會直接就發起POST請求, 而是會分爲倆步:
1. 發送一個請求, 包含一個Expect:100-continue, 詢問Server是否願意接受數據
2. 接收到Server返回的100-continue應答之後, 才把數據POST給Server
解決:
curl_setopt($ch, CURLOPT_HTTPHEADER, array('Expect:'));
十3、獲取請求頭部和丟棄BODY內容
有時候,被採集的站點把下一次跳轉的連接放入了響應頭裏,這時候,咱們須要經過設置CURLOPT_HEADER
屬性爲true
,讓響應結果攜帶響應頭便可。
curl_setopt($ch, CURLOPT_HEADER, true);
若是咱們只須要獲取響應頭,或者有時候只是爲了測試某個連接是否可以正常請求,咱們能夠經過設置CURLOPT_NOBODY
爲true
,讓響應結果不返回BODY內容。
curl_setopt($ch, CURLOPT_NOBODY, true);
總結
通用curl頁面採集函數
簡易解析cURL命令獲得PHP代碼程序
PHP cURL是一個很強大的採集工具,curl_setopt裏面還有不少參數,讀者能夠抽空總體看一遍,雖然平時未必用得上,可是至少作到內心有底,知道都有哪些參數,必要時還能找出來使用。 採集是一項大工程,使用過程當中遇到的問題還會很多,可是隻要學會分析和資料搜索,一切都會迎刃而解的,你們加油!哈哈~~