蜘蛛爬蟲類程序抓取有防盜鏈的網站處理 php和wget命令簡單破解防盜鏈網站的功能

時間  2019-11-19
標籤 蜘蛛 爬蟲類 程序 抓取 防盜 網站 處理 php wget 命令 簡單 破解 功能 欄目 網站開發 简体版
原文   原文鏈接

通常防盜鏈措施都是判斷訪問來路，也就是referer，這種防盜鏈措施只對轉載/轉貼有效，對於採集程序來說，referer很容易僞造。下面簡單介紹一下使用wget和php腳本採集有防盜鏈措施網站的圖片。javascript

 

一、使用wgetphp

wget是linux下很是好用的下載工具， --help能夠看到提供了大量的參數，能夠很方便自定義下載，僞造來路的參數是： -E --referer，如採集www.xxx.com/logo.gif文件，完整的命令行是：html

wget -E --referer http://www.xxx.com/ http://www.xxx.com/logo.gifjava

第一個網址是referer的參數表示從xxx.com來路訪問的，後面的網址表示要下載的文件linux

 

（注：--help和--referer前面是兩個-，wp把兩個-自動轉換成一個-了）web

 

二、使用PHP腳本，可使用file_get_contents函數，啓用第三個參數，具體代碼以下：數組

PHP Code瀏覽器

複製內容到剪貼板安全

  1. <?php  
  2. $context_options = array(  
  3. 'http' =>  
  4. array(  
  5. 'method' => "GET",  
  6. 'header' => "User-Agent:Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.5.21022; .NET CLR 3.0.04506; CIBA) Accept:*/* Referer:http://www.xxx.com/",  
  7. ));  
  8.   
  9. $context = stream_context_create($context_options);  
  10. $img = file_get_contents("http://www.xxx.com/logo.gif",FALSE,$context);  
  11. file_put_contents("1.jpg",$img);  

固然php還有不少方法能夠破解，好比利用curl或snoopy類都是能夠的。服務器

一、php解決網站被爬蟲採集的初步解決方案

   

推薦被容許的爬蟲
1.百度爬蟲 Baiduspider+
例：220.181.108.87 – - [08/Oct/2010:09:45:25 +0800] 「GET /cityjob/show/43885979 HTTP/1.1″ 200 4281 「-」 「Baiduspider+(+http://www.baidu.com/search/spider.htm)」 -
2.google adsense爬蟲 「Mediapartners-Google」
例：203.208.60.227 – - [08/Oct/2010:09:45:25 +0800] 「GET /cityjob/show/43427627 HTTP/1.1″ 200 3282 「-」 「Mediapartners-Google」 -
推薦禁止的爬蟲
php程序


$url = @$_SERVER['HTTP_HOST'];
if(
strpos($_SERVER["HTTP_USER_AGENT"],'HPPrint') === false
&& strpos($_SERVER["HTTP_USER_AGENT"],'Indy') === false
&& strpos($_SERVER["HTTP_USER_AGENT"],'DigExt') === false
&& strpos($_SERVER["HTTP_USER_AGENT"],'MJ12bot') === false
&& strpos($_SERVER["HTTP_USER_AGENT"],'WukongSpider') === false
&& strpos($_SERVER["HTTP_USER_AGENT"],'51Logon.com') === false
&& strpos($_SERVER["HTTP_USER_AGENT"],'Sniffer') === false
&& strpos($_SERVER["HTTP_USER_AGENT"],'Gecko/20100722') === false
&& strpos($_SERVER["HTTP_USER_AGENT"],'huaweisymantec') === false
&& strpos($_SERVER["HTTP_USER_AGENT"],'Speedy Spider') === false
&& strpos($_SERVER["HTTP_USER_AGENT"],'psbot/0.1') === false
{

}else{

Header("Location: http://127.0.0.1/");
exit;
}

 

二、PHP抓取網頁、採集網頁的利器：Snoopy（史努比）

   

Snoopy下載地址 source地址：http://sourceforge.net/projects/snoopy/ 

Snoopy是什麼?

Snoopy是一個php類，用來模仿web瀏覽器的功能，它能完成獲取網頁內容和發送表單的任務。

 

Snoopy的一些特色:

 

* 方便抓取網頁的內容

* 方便抓取網頁的文本內容 (去除HTML標籤)

* 方便抓取網頁的連接

* 支持代理主機

* 支持基本的用戶名/密碼驗證

* 支持設置 user_agent, referer(來路), cookies 和 header content(頭文件)

* 支持瀏覽器轉向，並能控制轉向深度

* 能把網頁中的連接擴展成高質量的url(默認)

* 方便提交數據而且獲取返回值

* 支持跟蹤HTML框架(v0.92增長)

* 支持再轉向的時候傳遞cookies (v0.92增長)

 

要想了解的更深刻些，你本身Google一下吧。下面就給幾個簡單的例子：

 

1獲取指定url內容

 

PHP代碼

$url = "http://www.taoav.com"; 

include("snoopy.php"); 

$snoopy = new Snoopy; 

$snoopy->fetch($url); //獲取全部內容 

echo $snoopy->results; //顯示結果 

//可選如下 

$snoopy->fetchtext //獲取文本內容（去掉html代碼） 

$snoopy->fetchlinks //獲取連接 

$snoopy->fetchform //獲取表單 

2 表單提交

 

 

PHP代碼

$formvars["username"] = "admin"; 

$formvars["pwd"] = "admin"; 

$action = "http://www.taoav.com";//表單提交地址 

$snoopy->submit($action,$formvars);//$formvars爲提交的數組 

echo $snoopy->results; //獲取表單提交後的 返回的結果 

//可選如下 

$snoopy->submittext; //提交後只返回 去除html的 文本 

$snoopy->submitlinks;//提交後只返回 連接 

既然已經提交的表單 那就能夠作不少事情 接下來咱們來假裝ip,假裝瀏覽器

 

 

 

3 假裝

 

PHP代碼

$formvars["username"] = "admin"; 

$formvars["pwd"] = "admin"; 

$action = "http://www.taoav.com"; 

include "snoopy.php"; 

$snoopy = new Snoopy; 

$snoopy->cookies["PHPSESSID"] = 'fc106b1918bd522cc863f36890e6fff7'; //假裝sessionid 

$snoopy->agent = "(compatible; MSIE 4.01; MSN 2.5; AOL 4.0; Windows 98)"; //假裝瀏覽器 

$snoopy->referer = "http://www.only4.cn"; //假裝來源頁地址 http_referer 

$snoopy->rawheaders["Pragma"] = "no-cache"; //cache 的http頭信息 

$snoopy->rawheaders["X_FORWARDED_FOR"] = "127.0.0.101"; //假裝ip 

$snoopy->submit($action,$formvars); 

echo $snoopy->results; 

 

原來咱們能夠假裝session 假裝瀏覽器 ，假裝ip， haha 能夠作不少事情了。

例如 帶驗證碼，驗證ip 投票， 能夠不停的投。

ps:這裏假裝ip ，實際上是假裝http頭, 因此通常的經過 REMOTE_ADDR 獲取的ip是假裝不了，

反而那些經過http頭來獲取ip的(能夠防止代理的那種) 就能夠本身來製造ip。

關於如何驗證碼 ，簡單說下：

首先用普通的瀏覽器， 查看頁面 ， 找到驗證碼所對應的sessionid，

同時記下sessionid和驗證碼值，

接下來就用snoopy去僞造 。

原理:因爲是同一個sessionid 因此取得的驗證碼和第一次輸入的是同樣的。

 

4 有時咱們可能須要僞造更多的東西,snoopy徹底爲咱們想到了

 

PHP代碼

$snoopy->proxy_host = "www.only4.cn"; 

$snoopy->proxy_port = "8080"; //使用代理 

 

$snoopy->maxredirs = 2; //重定向次數 

 

$snoopy->expandlinks = true; //是否補全連接 在採集的時候常常用到 

// 例如連接爲 /images/taoav.gif 可改成它的全連接 upload/200905122353246022.gif，這個地方其實能夠在最後輸出的時候用ereg_replace函數本身替換 

 

$snoopy->maxframes = 5 //容許的最大框架數 

 

 

//注意抓取框架的時候 $snoopy->results 返回的是一個數組 

 

$snoopy->error //返回報錯信息 

 

上面的基本用法瞭解了，下面我就實例演示一次：

 

 

 

PHP代碼

<? 

//echo var_dump($_SERVER); 

include("Snoopy.class.php"); 

$snoopy = new Snoopy; 

$snoopy->agent = "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.0.5) Gecko/2008120122 Firefox/3.0.5 FirePHP/0.2.1";//這項是瀏覽器信息，前面你用什麼瀏覽器查看cookie，就用那個瀏覽器的信息(ps:$_SERVER能夠查看到瀏 覽器的信息) 

$snoopy->referer = "http://bbs.phpchina.com/index.php"; 

$snoopy->expandlinks = true; 

$snoopy->rawheaders["COOKIE"]="__utmz=17229162.1227682761.29.7.utmccn=(referral)|utmcsr=phpchina.com|utmcct=/html/index.html|utmcmd=referral; cdbphpchina_smile=1D2D0D1; cdbphpchina_cookietime=2592000; __utma=233700831.1562900865.1227113506.1229613449.1231233266.16; __utmz=233700831.1231233266.16.8.utmccn=(referral)|utmcsr=localhost:8080|utmcct=/test3.php|utmcmd=referral; __utma=17229162.1877703507.1227113568.1231228465.1231233160.58; uchome_loginuser=sinopf; xscdb_cookietime=2592000; __utmc=17229162; __utmb=17229162; cdbphpchina_sid=EX5w1V; __utmc=233700831; cdbphpchina_visitedfid=17; cdbphpchinaO766uPYGK6OWZaYlvHSuzJIP22VpwEMGnPQAuWCFL9Fd6CHp2e%2FKw0x4bKz0N9lGk; xscdb_auth=8106rAyhKpQL49eMs%2FyhLBf3C6ClZ%2B2idSk4bExJwbQr%2BHSZrVKgqPOttHVr%2B6KLPg3DtWpTMUI4ttqNNVpukUj6ElM; cdbphpchina_onlineusernum=3721"; 

$snoopy->fetch("http://bbs.phpchina.com/forum-17-1.html"); 

$n=ereg_replace("href=\"","href=\"http://bbs.phpchina.com/",$snoopy->results ); 

echo ereg_replace("src=\"","src=\"http://bbs.phpchina.com/",$n); 

?> 

這 是模擬登錄PHPCHINA論壇的過程，首先要查看本身瀏覽器的信息：echo var_dump($_SERVER);這句代碼能夠看到本身瀏覽器的信息，把 $_SERVER['HTTP_USER_AGENT']後邊的內容複製下來，粘在$snoopy->agent的地方，而後就是要查看本身的 COOKIE了，用本身在論壇的帳號登錄論壇後，在瀏覽器地址欄裏輸入 javascript:document.write(document.cookie)，回車，就能夠看到本身的cookie信息，複製粘貼 到$snoopy->rawheaders["COOKIE"]=的後邊。（個人cookie信息爲了安全起見已經刪除了一段內容）

 

snoopy是一個php類，用來模仿web瀏覽器的功能，它能完成獲取網頁內容和發送表單的任務。

下面是它的一些特徵：

一、方便抓取網頁的內容

二、方便抓取網頁的文字（去掉HTML代碼）

三、方便抓取網頁的連接

四、支持代理主機

五、支持基本的用戶/密碼認證模式

六、支持自定義用戶agent,referer,cookies和header內容

七、支持瀏覽器轉向，並能控制轉向深度

八、能把網頁中的連接擴展成高質量的url（默認）

九、方便提交數據而且獲取返回值

十、支持跟蹤HTML框架（v0.92增長）

十一、支持再轉向的時候傳遞cookies

十二、支持sock

類屬性: (缺省值在括號裏)

$host 鏈接的主機

$port 鏈接的端口

$proxy_host 使用的代理主機，若是有的話

$proxy_port 使用的代理主機端口，若是有的話

$agent 用戶代理假裝 (Snoopy v0.1)

$referer 來路信息，若是有的話

$cookies cookies， 若是有的話

$rawheaders 其餘的頭信息, 若是有的話

$maxredirs 最大重定向次數， 0=不容許 (5)

$offsiteok whether or not to allow redirects off-site. (true)

$expandlinks          是否將連接都補全爲完整地址 (true)

$user 認證用戶名, 若是有的話

$pass 認證用戶名, 若是有的話

$accept http 接受類型 (image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, */*)

$error 哪裏報錯, 若是有的話

$response_code 從服務器返回的響應代碼

$headers 從服務器返回的頭信息

$maxlength 最長返回數據長度

$read_timeout 讀取操做超時 (requires PHP 4 Beta 4+)

設置爲0爲沒有超時

$timed_out 若是一次讀取操做超時了，本屬性返回 true (requires PHP 4 Beta 4+)

$maxframes 容許追蹤的框架最大數量

$status 抓取的http的狀態

$temp_dir 網頁服務器可以寫入的臨時文件目錄 (/tmp)

$curl_path cURL binary 的目錄, 若是沒有cURL binary就設置爲 false

類方法:

fetch($URI)

-----------

這是爲了抓取網頁的內容而使用的方法。

$URI參數是被抓取網頁的URL地址。

抓取的結果被存儲在 $this->results 中。

若是你正在抓取的是一個框架，Snoopy將會將每一個框架追蹤後存入數組中，而後存入 $this->results。

 

fetchtext($URI)

---------------

本方法相似於fetch()，惟一不一樣的就是本方法會去除HTML標籤和其餘的無關數據，只返回網頁中的文字內容。

 

fetchform($URI)

---------------

本方法相似於fetch()，惟一不一樣的就是本方法會去除HTML標籤和其餘的無關數據，只返回網頁中表單內容(form)。

 

fetchlinks($URI)

----------------

本方法相似於fetch()，惟一不一樣的就是本方法會去除HTML標籤和其餘的無關數據，只返回網頁中連接(link)。

默認狀況下，相對連接將自動補全，轉換成完整的URL。

 

submit($URI,$formvars)

----------------------

本方法向$URL指定的連接地址發送確認表單。$formvars是一個存儲表單參數的數組。

 

 

submittext($URI,$formvars)

--------------------------

本方法相似於submit()，惟一不一樣的就是本方法會去除HTML標籤和其餘的無關數據，只返回登錄後網頁中的文字內容。

 

submitlinks($URI)

----------------

本方法相似於submit()，惟一不一樣的就是本方法會去除HTML標籤和其餘的無關數據，只返回網頁中連接(link)。

默認狀況下，相對連接將自動補全，轉換成完整的URL。

 

 

例子:

<?php

//author:華夏之星   QQ:1019822077

include "Snoopy.class.php";

$url = "http://hi.baidu.com/woaidelphi/blog";//華夏之星博客

$snoopy = new Snoopy;

$snoopy->fetchtext($url);//抓取內容（去掉html代碼） 

#$snoopy->fetchlinks($url);//抓取連接

#$snoopy->fetchform($url); //獲取表單 

print_r($snoopy->results);打出結果

 

/******************************表單提交****************************/

$submit_url = "http://www.baidu.com/index.php";//提交頁面

$formvars["wd"] = "QQ:1019822077";//搜索的詞

$snoopy->submit($submit_url,$formvars);

print_r($snoopy->results);//獲取表單提交後的 返回的結果   

# $snoopy->submittext; //提交後只返回 去除html的 文本 

# $snoopy->submitlinks;//提交後只返回 連接 

 

/******************************來假裝ip,假裝瀏覽器****************************/

$formvars["username"] = "admin"; 

$formvars["pwd"] = "admin"; 

$action = "http://www.taoav.com"; //提交頁面 

$snoopy->cookies["PHPSESSID"] = 'fc106b1918bd522cc863f36890e6fff7'; //假裝sessionid 

$snoopy->agent = "(compatible; MSIE 4.01; MSN 2.5; AOL 4.0; Windows 98)"; //假裝瀏覽器 

$snoopy->referer = http://www.php100.com; //假裝來源頁地址 http_referer 

$snoopy->rawheaders["Pragma"] = "no-cache"; //cache 的http頭信息 

$snoopy->rawheaders["X_FORWARDED_FOR"] = "127.0.0.101"; //假裝ip 

$snoopy->submit($action,$formvars); 

echo $snoopy->results; 

 

原來咱們能夠假裝session 假裝瀏覽器 ，假裝ip， haha 能夠作不少事情了。

例如 帶驗證碼，驗證ip 投票， 能夠不停的投。

ps:這裏假裝ip ，實際上是假裝http頭, 因此通常的經過 REMOTE_ADDR 獲取的ip是假裝不了，

反而那些經過http頭來獲取ip的(能夠防止代理的那種) 就能夠本身來製造ip。

關於如何驗證碼 ，簡單說下：

首先用普通的瀏覽器， 查看頁面 ， 找到驗證碼所對應的sessionid，

同時記下sessionid和驗證碼值，

接下來就用snoopy去僞造 。

原理:因爲是同一個sessionid 因此取得的驗證碼和第一次輸入的是同樣的。

有時咱們可能須要僞造更多的東西,snoopy徹底爲咱們想到了 

 

$snoopy->proxy_host = "www.php100.com"; 

$snoopy->proxy_port = "8080"; //使用代理 

$snoopy->maxredirs = 2; //重定向次數 

$snoopy->expandlinks = true; //是否補全連接 在採集的時候常常用到 

// 例如連接爲 /images/taoav.gif 可改成它的全連接 http://www.taoav.com/images/taoav.gif 

$snoopy->maxframes = 5 //容許的最大框架數 

//注意抓取框架的時候 $snoopy->results 返回的是一個數組 

$snoopy->error //返回報錯信息 

 

 

 

 

 

 

 

 

例子: 抓取一個頁面並顯示他的頭信息和頁面內容 (去掉HTML標籤的頁面):

 

include "Snoopy.class.php";

$snoopy = new Snoopy;

 

$snoopy->user = "joe";

$snoopy->pass = "bloe";

 

if($snoopy->fetch("http://www.slashdot.org/"))

{

echo "response code: ".$snoopy->response_code."<br>\n";

while(list($key,$val) = each($snoopy->headers))

echo $key.": ".$val."<br>\n";

echo "<p>\n";

 

echo "<PRE>".htmlspecialchars($snoopy->results)."</PRE>\n";

}

else

echo "error fetching document: ".$snoopy->error."\n";

 

 

 

例子: 提交一個表單而且打印出頭信息和去掉HTML標籤的頁面:

 

include "Snoopy.class.php";

$snoopy = new Snoopy;

 

$submit_url = "http://lnk.ispi.net/texis/scripts/msearch/netsearch.html";

 

$submit_vars["q"] = "amiga";

$submit_vars["submit"] = "Search!";

$submit_vars["searchhost"] = "Altavista";

 

 

if($snoopy->submit($submit_url,$submit_vars))

{

while(list($key,$val) = each($snoopy->headers))

echo $key.": ".$val."<br>\n";

echo "<p>\n";

 

echo "<PRE>".htmlspecialchars($snoopy->results)."</PRE>\n";

}

else

echo "error fetching document: ".$snoopy->error."\n";

 

 

 

例子: 展現全部屬性的功能:

 

 

include "Snoopy.class.php";

$snoopy = new Snoopy;

 

$snoopy->proxy_host = "my.proxy.host";

$snoopy->proxy_port = "8080";

 

$snoopy->agent = "(compatible; MSIE 4.01; MSN 2.5; AOL 4.0; Windows 98)";

$snoopy->referer = "http://www.microsnot.com/";

 

$snoopy->cookies["SessionID"] = 238472834723489l;

$snoopy->cookies["favoriteColor"] = "RED";

 

$snoopy->rawheaders["Pragma"] = "no-cache";

 

$snoopy->maxredirs = 2;

$snoopy->offsiteok = false;

$snoopy->expandlinks = false;

 

$snoopy->user = "joe";

$snoopy->pass = "bloe";

 

if($snoopy->fetchtext("http://www.phpbuilder.com"))

{

while(list($key,$val) = each($snoopy->headers))

echo $key.": ".$val."<br>\n";

echo "<p>\n";

 

echo "<PRE>".htmlspecialchars($snoopy->results)."</PRE>\n";

}

else

echo "error fetching document: ".$snoopy->error."\n";

 

 

例子: 抓取框架內容並展現結果：

 

include "Snoopy.class.php";

$snoopy = new Snoopy;

 

$snoopy->maxframes = 5;

 

if($snoopy->fetch("http://www.ispi.net/"))

{

echo "<PRE>".htmlspecialchars($snoopy->results[0])."</PRE>\n";

echo "<PRE>".htmlspecialchars($snoopy->results[1])."</PRE>\n";

echo "<PRE>".htmlspecialchars($snoopy->results[2])."</PRE>\n";

}

else

echo "error fetching document: ".$snoopy->error."\n";

 

三、PHP 使用 CURL 同步抓取多個網頁

   

通常CURL 抓網頁的方法， 是一頁一頁抓， 假設要抓 4頁， 所費時間各別是 5,10,7,5 秒， 那所有總合所花的時間就是 5 + 10 + 7 + 5 = 27 秒。

若能同時間去抓取多個網頁， 所花費的時間 5,10,7,5 秒， 所有總合所花的時間是 10 秒。（花費最多時間的秒數）

於JavaScript 可以使用 AJAX 的 async（YAHOO.util.Connect.asyncRequest）來達成， 於 PHP 能夠用 CURL 來達成此 Multi-Threading 的效果。

程序（async.php）

 

如下爲引用的內容：

<?php

function async_get_url($url_array, $wait_usec = 0)

{

    if (!is_array($url_array))

        return false;

 

    $wait_usec = intval($wait_usec);

 

    $data    = array();

    $handle  = array();

    $running = 0;

 

    $mh = curl_multi_init(); // multi curl handler

 

    $i = 0;

    foreach($url_array as $url) {

        $ch = curl_init();

 

        curl_setopt($ch, CURLOPT_URL, $url);

        curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); // return don't print

        curl_setopt($ch, CURLOPT_TIMEOUT, 30);

        curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)');

        curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); // 302 redirect

        curl_setopt($ch, CURLOPT_MAXREDIRS, 7);

 

        curl_multi_add_handle($mh, $ch); // 把 curl resource 放進 multi curl handler 裏

 

        $handle[$i++] = $ch;

    }

 

    /* 執行 */

    do {

        curl_multi_exec($mh, $running);

 

        if ($wait_usec > 0) /* 每一個 connect 要間隔多久 */

            usleep($wait_usec); // 250000 = 0.25 sec

    } while ($running > 0);

 

    /* 讀取資料 */

    foreach($handle as $i => $ch) {

        $content  = curl_multi_getcontent($ch);

        $data[$i] = (curl_errno($ch) == 0) ? $content : false;

    }

 

    /* 移除 handle*/

    foreach($handle as $ch) {

        curl_multi_remove_handle($mh, $ch);

    }

 

    curl_multi_close($mh);

 

    return $data;

}

?>

 

使用

 

如下爲引用的內容：

<?php

$urls = array('http://example1.com', 'http://example2.com');

print_r(async_get_url($urls)); // [0] => example1, [1] => example2

?>

 

測試

sleep.php # 看時間延長取得的效果

 

如下爲引用的內容：

<?php

sleep(intval($_GET['time']));

echo intval($_GET['time']);

?>

 

 

如下爲引用的內容：

<?php

$url_array = array(

        'http://example.com/sleep.php?time=5',

        'http://example.com/sleep.php?time=10',

        'http://example.com/sleep.php?time=7',

        'http://example.com/sleep.php?time=5',

        );

print_r(async_get_url($url_array));

// 總花費時間會是 10 秒, 並印出 [0] => 5, [1] => 10, [2] => 7, [3] => 5

?>
相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程