經過curl_setopt()函數能夠方便快捷的抓取網頁(採集很方便),curl_setopt 是php的一個擴展庫
使用條件:須要在php.ini 中配置開啓。(PHP 4 >= 4.0.2)
//取消下面的註釋
extension=php_curl.dll
在Linux下面,須要從新編譯PHP了,編譯時,你須要打開編譯參數——在configure命令上加上「–with-curl」 參數。
一、 一個抓取網頁的簡單案例:
// 建立一個新cURL資源
$ch = curl_init();
// 設置URL和相應的選項
curl_setopt($ch, CURLOPT_URL, "http://www.baidu.com/");
curl_setopt($ch, CURLOPT_HEADER, false);
// 抓取URL並把它傳遞給瀏覽器
curl_exec($ch);
//關閉cURL資源,而且釋放系統資源
curl_close($ch);
二、POST數據案例:
// 建立一個新cURL資源
$ch = curl_init();
$data = 'phone='. urlencode($phone);
// 設置URL和相應的選項
curl_setopt($ch, CURLOPT_URL, "http://www.post.com/");
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, $data);
// 抓取URL並把它傳遞給瀏覽器
curl_exec($ch);
//關閉cURL資源,而且釋放系統資源
curl_close($ch);
三、關於SSL和Cookie
關於SSL也就是HTTPS協議,你只須要把CURLOPT_URL鏈接中的http://變成https://就能夠了。固然,還有一個參數叫CURLOPT_SSL_VERIFYHOST能夠設置爲驗證站點。
關於Cookie,你須要瞭解下面三個參數:
CURLOPT_COOKIE,在當面的會話中設置一個cookie
CURLOPT_COOKIEJAR,當會話結束的時候保存一個Cookie
CURLOPT_COOKIEFILE,Cookie的文件。
PS:新浪微博登錄API部分截取
/**
* Make an HTTP request
*
* @return string API results
* @ignore
*/
function http($url, $method, $postfields = NULL, $headers = array()) {
$this->http_info = array();
$ci = curl_init();
/* Curl settings */
curl_setopt($ci, CURLOPT_HTTP_VERSION, CURL_HTTP_VERSION_1_0);//讓cURL本身判斷使用哪一個版本
curl_setopt($ci, CURLOPT_USERAGENT, $this->useragent);//在HTTP請求中包含一個"User-Agent: "頭的字符串。
curl_setopt($ci, CURLOPT_CONNECTTIMEOUT, $this->connecttimeout);//在發起鏈接前等待的時間,若是設置爲0,則無限等待
curl_setopt($ci, CURLOPT_TIMEOUT, $this->timeout);//設置cURL容許執行的最長秒數
curl_setopt($ci, CURLOPT_RETURNTRANSFER, TRUE);//返回原生的(Raw)輸出
curl_setopt($ci, CURLOPT_ENCODING, "");//HTTP請求頭中"Accept-Encoding: "的值。支持的編碼有"identity","deflate"和"gzip"。若是爲空字符串"",請求頭會發送全部支持的編碼類型。
curl_setopt($ci, CURLOPT_SSL_VERIFYPEER, $this->ssl_verifypeer);//禁用後cURL將終止從服務端進行驗證
curl_setopt($ci, CURLOPT_HEADERFUNCTION, array($this, 'getHeader'));//第一個是cURL的資源句柄,第二個是輸出的header數據
curl_setopt($ci, CURLOPT_HEADER, FALSE);//啓用時會將頭文件的信息做爲數據流輸出
switch ($method) {
case 'POST':
curl_setopt($ci, CURLOPT_POST, TRUE);
if (!empty($postfields)) {
curl_setopt($ci, CURLOPT_POSTFIELDS, $postfields);
$this->postdata = $postfields;
}
break;
case 'DELETE':
curl_setopt($ci, CURLOPT_CUSTOMREQUEST, 'DELETE');
if (!empty($postfields)) {
$url = "{$url}?{$postfields}";
}
}
if ( isset($this->access_token) && $this->access_token )
$headers[] = "Authorization: OAuth2 ".$this->access_token;
$headers[] = "API-RemoteIP: " . $_SERVER['REMOTE_ADDR'];
curl_setopt($ci, CURLOPT_URL, $url );
curl_setopt($ci, CURLOPT_HTTPHEADER, $headers );
curl_setopt($ci, CURLINFO_HEADER_OUT, TRUE );
$response = curl_exec($ci);
$this->http_code = curl_getinfo($ci, CURLINFO_HTTP_CODE);
$this->http_info = array_merge($this->http_info, curl_getinfo($ci));
$this->url = $url;
if ($this->debug) {
echo "=====post data======\r\n";
var_dump($postfields);
echo '=====info====='."\r\n";
print_r( curl_getinfo($ci) );
echo '=====$response====='."\r\n";
print_r( $response );
}
curl_close ($ci);
return $response;
}