node 爬蟲 --- 批量下載圖片

時間 2019-11-11

原文原文鏈接

步驟一：建立項目javascript

npm init

步驟二：安裝 request，cheerio，async 三個模塊 html

request
用於請求地址和快速下載圖片流。
https://github.com/request/request
cheerio
爲服務器特別定製的，快速、靈活、實施的jQuery核心實現.
便於解析html代碼。
https://www.npmjs.com/package/cheerio
async
異步調用，防止堵塞。
http://caolan.github.io/async/java

npm i request cheerio async -D

步驟三：核心思路node

（1）用request 發送一個請求。獲取html代碼，取得其中的img標籤和a標籤。git

//發送請求
function requestall(url) {
  request({
    uri: url,
    headers: setting.header
  }, function (error, response, body) {
    if (error) {
      // 請求失敗
      console.log(error);
    } else {
      console.log(response.statusCode);
      if (!error && response.statusCode == 200) {
        // 請求成功
      }
    }
  });
}

（2）經過獲取的a表情進行遞歸調用。不斷獲取img地址和a地址，繼續遞歸github

// 遞歸爬蟲
$('a').each(function () {
  var murl = $(this).attr('href');
  if (IsURL(murl)) {
    setTimeout(function () {
      fetchre(murl);
    }, timeout);
    timeout += setting.ajax_timeout;
  } else {
    setTimeout(function () {
      fetchre("http://www.ivsky.com/" + murl);
    }, timeout);
    timeout += setting.ajax_timeout;
  }
})

（3）獲取img地址經過request(photo).pipe(fs.createWriteStream(dir + 「/」 + filename));進行快速下載。ajax

//發送請求
function requestall(url) {
  request({
    uri: url,
    headers: setting.header
  }, function (error, response, body) {
    if (error) {
      console.log(error);
    } else {
      console.log(response.statusCode);
      if (!error && response.statusCode == 200) {
        var $ = cheerio.load(body);
        var photos = [];
        $('img').each(function () {
          // 判斷地址是否存在
          if ($(this).attr('src')) {
            var src = $(this).attr('src');
            var end = src.substr(-4, 4).toLowerCase();
            if (end == '.jpg' || end == '.gif' || end == '.png' || end == '.jpeg') {
              if (IsURL(src)) {
                photos.push(src);
              }
            }
          }
        });
        downloadImg(photos, dir, setting.download_v);
        // 遞歸爬蟲
        $('a').each(function () {
          var murl = $(this).attr('href');
          if (IsURL(murl)) {
            setTimeout(function () {
              fetchre(murl);
            }, timeout);
            timeout += setting.ajax_timeout;
          } else {
            setTimeout(function () {
              fetchre("http://www.ivsky.com/" + murl);
            }, timeout);
            timeout += setting.ajax_timeout;
          }
        })
      }
    }
  });
}

步驟四：防坑npm

（1）在request經過圖片地址下載時，綁定error事件防止爬蟲異常的中斷。服務器

// 防止pipe錯誤
request(photo)
  .on('error', function (err) {
    console.log(err);
  })
  .pipe(fs.createWriteStream(dir + "/" + filename));

（2）經過async的mapLimit限制併發。併發

async.mapLimit(photos, asyncNum, function (photo, callback) {
  // 請求成功
}, function (err, result) {
  // 請求失敗
})

（3）加入請求報頭，防止ip被屏蔽。

setting.js

/**
 * 加入請求報頭,防止ip被屏蔽
 */
module.exports = {
  header : {
    'User-Agent': 'request',
    "Referer":"http://www.ivsky.com/",
  },
  // 併發數
  ajax_timeout : 2000,
  // 下載圖片速度
  download_v : 5
}

（4）獲取一些圖片和超連接地址，多是相對路徑（待考慮解決是否有經過方法）。

// 下載圖片
function downloadImg(photos, dir, asyncNum) {
  console.log("即將異步併發下載圖片，當前併發數爲:" + asyncNum);
  async.mapLimit(photos, asyncNum, function (photo, callback) {
    var filename = (new Date().getTime()) + photo.substr(-4, 4);
    if (filename) {
      console.log('正在下載' + photo);
      // 默認
      // fs.createWriteStream(dir + "/" + filename)
      // 防止pipe錯誤
      request(photo)
        .on('error', function (err) {
          console.log(err);
        })
        .pipe(fs.createWriteStream(dir + "/" + filename));
      console.log('下載完成');
      callback(null, filename);
    }
  }, function (err, result) {
    if (err) {
      console.log(err);
    } else {
      console.log(" all right ! ");
      console.log(result);
    }
  })
}

步驟五：完整代碼

app.js

/**
 * node 爬蟲
 */
var fs = require('fs');
var request = require("request");
var cheerio = require("cheerio");
var async = require('async');

// 目標網址
var url = 'http://www.ivsky.com/tupian/ziranfengguang/';

// 本地存儲目錄
var dir = './images';

var setting = require('./setting');

var timeout = 100;
// 封裝了一層函數
function fetchre(url) {
  requestall(url);
}
// 發送請求
function requestall(url) {
  request({
    uri: url,
    headers: setting.header
  }, function (error, response, body) {
    if (error) {
      console.log(error);
    } else {
      console.log(response.statusCode);
      if (!error && response.statusCode == 200) {
        var $ = cheerio.load(body);
        var photos = [];
        $('img').each(function () {
          // 判斷地址是否存在
          if ($(this).attr('src')) {
            var src = $(this).attr('src');
            var end = src.substr(-4, 4).toLowerCase();
            if (end == '.jpg' || end == '.gif' || end == '.png' || end == '.jpeg') {
              if (IsURL(src)) {
                photos.push(src);
              }
            }
          }
        });
        downloadImg(photos, dir, setting.download_v);
        // 遞歸爬蟲
        $('a').each(function () {
          var murl = $(this).attr('href');
          if (IsURL(murl)) {
            setTimeout(function () {
              fetchre(murl);
            }, timeout);
            timeout += setting.ajax_timeout;
          } else {
            setTimeout(function () {
              fetchre("http://www.ivsky.com/" + murl);
            }, timeout);
            timeout += setting.ajax_timeout;
          }
        })
      }
    }
  });
}

// 下載圖片
function downloadImg(photos, dir, asyncNum) {
  console.log("即將異步併發下載圖片，當前併發數爲:" + asyncNum);
  async.mapLimit(photos, asyncNum, function (photo, callback) {
    var filename = (new Date().getTime()) + photo.substr(-4, 4);
    if (filename) {
      console.log('正在下載' + photo);
      // 默認
      // fs.createWriteStream(dir + "/" + filename)
      // 防止pipe錯誤
      request(photo)
        .on('error', function (err) {
          console.log(err);
        })
        .pipe(fs.createWriteStream(dir + "/" + filename));
      console.log('下載完成');
      callback(null, filename);
    }
  }, function (err, result) {
    if (err) {
      console.log(err);
    } else {
      console.log(" all right ! ");
      console.log(result);
    }
  })
}

// 判斷是否爲完整地址
function IsURL(str_url) {
  var strRegex = '^((https|http|ftp|rtsp|mms)?://)';
  var re = new RegExp(strRegex);
  if (re.test(str_url)) {
    return (true);
  } else {
    return (false);
  }
}

requestall(url);

步驟六：執行

（1）在根路徑下建立 images 空文件夾，用於存放下載下來的圖片

（2）打開終端，執行