PHP用curl抓取網站數據，仿造IP、僞造來源等，防屏蔽解決方案教程

一、僞造客戶端IP地址，僞造訪問referer:（通常狀況下這就能夠訪問到數據了）

curl_setopt($curl, CURLOPT_HTTPHEADER, ['X-FORWARDED-FOR:110.85.108.185', 'CLIENT-IP:110.85.108.185']);
curl_setopt($curl, CURLOPT_REFERER, 'http://www.demo.com/test.php');

二、如是上面的仍是不行，多是別人抓到了真實IP，這時候咱們就使用代理訪問。

 

#  詳細方式
curl_setopt($curl, CURLOPT_PROXY, '112.85.209.72');    //代理服務器地址
curl_setopt($curl, CURLOPT_PROXYPORT, 80);             //代理服務器端口
//curl_setopt($curl, CURLOPT_PROXYUSERPWD, ':'');      //http代理認證賬號，username:password的格式
curl_setopt($curl, CURLOPT_PROXYTYPE, CURLPROXY_HTTP); //使用http代理模式
 
#  簡寫方式
curl_setopt($curl, CURLOPT_PROXY, 'http://112.85.209.72:80');

三、還有一種就是用瀏覽器能夠訪問，用curl不行。（對方檢查了useragent，若是沒有就認爲是非法來源等驗證了）

$useragent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 ';
$useragent.= '(KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36';
curl_setopt($curl, CURLOPT_USERAGENT, $useragent);

PHP完整Curl抓取數據函數：

/**
 * 請求接口
 * @access public
 * @param string $url 請求地址
 * @param array $data 提交參數 沒有get 有post
 * @return bean|array
 */
public function send($url='')
{   
    set_time_limit(0);
    $curl = curl_init();
    curl_setopt($curl, CURLOPT_URL, $url);
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($curl, CURLOPT_CONNECTTIMEOUT, 10);
    curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);
    curl_setopt($curl, CURLOPT_HTTPHEADER, ['X-FORWARDED-FOR:127.0.1.1', 'CLIENT-IP:127.0.1.1']);
    curl_setopt($curl, CURLOPT_REFERER, 'http://www.demo.com/demo.php');
    curl_setopt($curl, CURLOPT_PROXY, 'http://127.0.0.1:80');
    $useragent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 ';
    $useragent.= '(KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36';
    curl_setopt($curl, CURLOPT_USERAGENT, $useragent);
    if(!empty($data) && is_array($data)){
        curl_setopt($curl, CURLOPT_POST, true);
        curl_setopt($curl, CURLOPT_POSTFIELDS, $data);
    }
    $html = curl_exec($curl);
    if($error=curl_errno($curl)){
        return false;
    }
    curl_close($curl);
    return $html;
}