PHP實現遠程抓取網站圖片並保存在文件中

時間  2021-06-06
標籤 php 數組 dom 函數 學習 this url spa .net code 欄目 PHP 简体版
原文   原文鏈接

attachments-2020-07-Tj5pm5aY5efeaa5a533e4.jpg

這個功能類雖然是PHP原生的，可是也值得你去學習一下的。php

遞歸抓取首頁與子頁面數組

/**
   * 遞歸下載抓取首頁及其子頁面圖片的方法 ( recursive 遞歸)
   *
   * @param  String $capture_url 用於抓取圖片的網址
   *
   */
  public function recursive_download_images($capture_url)
  {
    if (!in_array($capture_url,self::$a_url_arr))  //沒抓取過
    {
      self::$a_url_arr[]=$capture_url;  //計入靜態數組
    } else  //抓取過,直接退出函數
    {
      return;
    }
    $this->download_current_page_images($capture_url); //下載當前頁面的全部圖片
    //用@屏蔽掉由於抓取地址沒法讀取致使的warning錯誤
    $content=@file_get_contents($capture_url);
    //匹配a標籤href屬性中?以前部分的正則
    $a_pattern = "|<a[^>]+href=['\" ]?([^ '\"?]+)['\" >]|U";
    preg_match_all($a_pattern, $content, $a_out, PREG_SET_ORDER);
    $tmp_arr=array(); //定義一個數組,用於存放當前循環下抓取圖片的超連接地址
    foreach ($a_out as $k => $v)
    {
      /**
       * 去除超連接中的 空'','#','/'和重複值
       * 1: 超連接地址的值 不能等於當前抓取頁面的url, 不然會陷入死循環
       * 2: 超連接爲''或'#','/'也是本頁面,這樣也會陷入死循環,
       * 3: 有時一個超鏈接地址在一個網頁中會重複出現屢次,若是不去除,會對一個子頁面進行重複下載)
       */
      if ( $v[1] && !in_array($v[1],self::$a_url_arr) &&!in_array($v[1],array('#','/',$capture_url) ) )
      {
        $tmp_arr[]=$v[1];
      }
    }
    foreach ($tmp_arr as $k => $v)
    {
      //超連接路徑地址
      if ( strpos($v, 'http://')!==false ) //若是url包含http://,能夠直接訪問
      {
        $a_url = $v;
      }else  //不然證實是相對地址, 須要從新拼湊超連接的訪問地址
      {
        $domain_url = substr($capture_url, 0,strpos($capture_url, '/',8)+1);
        $a_url=$domain_url.$v;
      }
      $this->recursive_download_images($a_url);
    }
  }

下載當前的全部頁面dom

/**
   * 下載當前網頁下的全部圖片
   *
   * @param  String $capture_url 用於抓取圖片的網頁地址
   * @return Array  當前網頁上全部圖片img標籤url地址的一個數組
   */
  public function download_current_page_images($capture_url)
  {
    $content=@file_get_contents($capture_url);  //屏蔽warning錯誤
    //匹配img標籤src屬性中?以前部分的正則
    $img_pattern = "|<img[^>]+src=['\" ]?([^ '\"?]+)['\" >]|U";
    preg_match_all($img_pattern, $content, $img_out, PREG_SET_ORDER);
    $photo_num = count($img_out);
    //匹配到的圖片數量
    echo '<h1>'.$capture_url . "共找到 " . $photo_num . " 張圖片</h1>";
    foreach ($img_out as $k => $v)
    {
      $this->save_one_img($capture_url,$v[1]);
    }
  }

保存圖片函數

/**
 * 保存單個圖片的方法
 *
 * @param String $capture_url  用於抓取圖片的網頁地址
 * @param String $img_url    須要保存的圖片的url
 *
 */
public function save_one_img($capture_url,$img_url)
{
  //圖片路徑地址
  if ( strpos($img_url, 'http://')!==false )
  {
    // $img_url = $img_url;
  }else
  {
    $domain_url = substr($capture_url, 0,strpos($capture_url, '/',8)+1);
    $img_url=$domain_url.$img_url;
  }
  $pathinfo = pathinfo($img_url);  //獲取圖片路徑信息
  $pic_name=$pathinfo['basename'];  //獲取圖片的名字
  if (file_exists($this->save_path.$pic_name)) //若是圖片存在,證實已經被抓取過,退出函數
  {
    echo $img_url . '<span style="color:red;margin-left:80px">該圖片已經抓取過!</span><br/>';
    return;
  }
  //將圖片內容讀入一個字符串
  $img_data = @file_get_contents($img_url);  //屏蔽掉由於圖片地址沒法讀取致使的warning錯誤
  if ( strlen($img_data) > $this->img_size )  //下載size比限制大的圖片
  {
    $img_size = file_put_contents($this->save_path . $pic_name, $img_data);
    if ($img_size)
    {
      echo $img_url . '<span style="color:green;margin-left:80px">圖片保存成功!</span><br/>';
    } else
    {
      echo $img_url . '<span style="color:red;margin-left:80px">圖片保存失敗!</span><br/>';
    }
  } else
  {
    echo $img_url . '<span style="color:red;margin-left:80px">圖片讀取失敗!</span><br/>';
  }
}
} // END

來看看一個完整的功能類，直接保存，引用就能夠了學習

<?php
/**
 * 一個用於抓取圖片的類
 *
 * @package default
 * @author WuJunwei
 */
class download_image
{
  public $save_path;         //抓取圖片的保存地址
  //抓取圖片的大小限制(單位:字節) 只抓比size比這個限制大的圖片
  public $img_size=0;
  //定義一個靜態數組,用於記錄曾經抓取過的的超連接地址,避免重複抓取
  public static $a_url_arr=array();
  /**
   * @param String $save_path  抓取圖片的保存地址
   * @param Int  $img_size   抓取圖片的保存地址
   */
  public function __construct($save_path,$img_size)
  {
    $this->save_path=$save_path;
    $this->img_size=$img_size;
  }
  /**
   * 遞歸下載抓取首頁及其子頁面圖片的方法 ( recursive 遞歸)
   *
   * @param  String $capture_url 用於抓取圖片的網址
   *
   */
  public function recursive_download_images($capture_url)
  {
    if (!in_array($capture_url,self::$a_url_arr))  //沒抓取過
    {
      self::$a_url_arr[]=$capture_url;  //計入靜態數組
    } else  //抓取過,直接退出函數
    {
      return;
    }
    $this->download_current_page_images($capture_url); //下載當前頁面的全部圖片
    //用@屏蔽掉由於抓取地址沒法讀取致使的warning錯誤
    $content=@file_get_contents($capture_url);
    //匹配a標籤href屬性中?以前部分的正則
    $a_pattern = "|<a[^>]+href=['\" ]?([^ '\"?]+)['\" >]|U";
    preg_match_all($a_pattern, $content, $a_out, PREG_SET_ORDER);
    $tmp_arr=array(); //定義一個數組,用於存放當前循環下抓取圖片的超連接地址
    foreach ($a_out as $k => $v)
    {
      /**
       * 去除超連接中的 空'','#','/'和重複值
       * 1: 超連接地址的值 不能等於當前抓取頁面的url, 不然會陷入死循環
       * 2: 超連接爲''或'#','/'也是本頁面,這樣也會陷入死循環,
       * 3: 有時一個超鏈接地址在一個網頁中會重複出現屢次,若是不去除,會對一個子頁面進行重複下載)
       */
      if ( $v[1] && !in_array($v[1],self::$a_url_arr) &&!in_array($v[1],array('#','/',$capture_url) ) )
      {
        $tmp_arr[]=$v[1];
      }
    }
    foreach ($tmp_arr as $k => $v)
    {
      //超連接路徑地址
      if ( strpos($v, 'http://')!==false ) //若是url包含http://,能夠直接訪問
      {
        $a_url = $v;
      }else  //不然證實是相對地址, 須要從新拼湊超連接的訪問地址
      {
        $domain_url = substr($capture_url, 0,strpos($capture_url, '/',8)+1);
        $a_url=$domain_url.$v;
      }
      $this->recursive_download_images($a_url);
    }
  }
  /**
   * 下載當前網頁下的全部圖片
   *
   * @param  String $capture_url 用於抓取圖片的網頁地址
   * @return Array  當前網頁上全部圖片img標籤url地址的一個數組
   */
  public function download_current_page_images($capture_url)
  {
    $content=@file_get_contents($capture_url);  //屏蔽warning錯誤
    //匹配img標籤src屬性中?以前部分的正則
    $img_pattern = "|<img[^>]+src=['\" ]?([^ '\"?]+)['\" >]|U";
    preg_match_all($img_pattern, $content, $img_out, PREG_SET_ORDER);
    $photo_num = count($img_out);
    //匹配到的圖片數量
    echo '<h1>'.$capture_url . "共找到 " . $photo_num . " 張圖片</h1>";
    foreach ($img_out as $k => $v)
    {
      $this->save_one_img($capture_url,$v[1]);
    }
  }
  /**
   * 保存單個圖片的方法
   *
   * @param String $capture_url  用於抓取圖片的網頁地址
   * @param String $img_url    須要保存的圖片的url
   *
   */
  public function save_one_img($capture_url,$img_url)
  {
    //圖片路徑地址
    if ( strpos($img_url, 'http://')!==false )
    {
      // $img_url = $img_url;
    }else
    {
      $domain_url = substr($capture_url, 0,strpos($capture_url, '/',8)+1);
      $img_url=$domain_url.$img_url;
    }
    $pathinfo = pathinfo($img_url);  //獲取圖片路徑信息
    $pic_name=$pathinfo['basename'];  //獲取圖片的名字
    if (file_exists($this->save_path.$pic_name)) //若是圖片存在,證實已經被抓取過,退出函數
    {
      echo $img_url . '<span style="color:red;margin-left:80px">該圖片已經抓取過!</span><br/>';
      return;
    }
    //將圖片內容讀入一個字符串
    $img_data = @file_get_contents($img_url);  //屏蔽掉由於圖片地址沒法讀取致使的warning錯誤
    if ( strlen($img_data) > $this->img_size )  //下載size比限制大的圖片
    {
      $img_size = file_put_contents($this->save_path . $pic_name, $img_data);
      if ($img_size)
      {
        echo $img_url . '<span style="color:green;margin-left:80px">圖片保存成功!</span><br/>';
      } else
      {
        echo $img_url . '<span style="color:red;margin-left:80px">圖片保存失敗!</span><br/>';
      }
    } else
    {
      echo $img_url . '<span style="color:red;margin-left:80px">圖片讀取失敗!</span><br/>';
    }
  }
} // END
set_time_limit(120);   //設置腳本的最大執行時間 根據狀況設置
$download_img=new download_image('E:/images/',0);  //實例化下載圖片對象
$download_img->recursive_download_images('http://www.oschina.net/');   //遞歸抓取圖片方法
//$download_img->download_current_page_images($_POST['capture_url']);   //只抓取當前頁面圖片方法

attachments-2020-07-gMuj3hm45efeaa68ba4b9.jpg

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程