node：爬蟲爬取網頁圖片

時間 2019-11-17

原文原文鏈接

前言

週末本身在家閒着沒事，刷着微信，玩着手機，發現本身的微信頭像該換了，就去網上找了一下頭像，看着圖片，本身就想着做爲一個碼農，能夠把這些圖片都爬取下來作成一個微信小程序，說幹就幹，瞭解一下基本都知道怎麼作了，整理分享一波給你們。html

const express = require('express');
const app = express();
app.get('/index', function(req, res) {
res.end('111')
})
var server = app.listen(8081, function() {
    var host = server.address().address
    var port = server.address().port
    console.log("應用實例，訪問地址爲 http://%s:%s", host, port)

})
複製代碼

運行node demo.js簡單的服務就搭起來了，如圖：

請求咱們要爬取的頁面

npm install superagent
npm install superagent-charset
npm install cheerio
複製代碼

superagent 是用來發起請求的，是一個輕量的,漸進式的ajax api,可讀性好,學習曲線低,內部依賴nodejs原生的請求api,適用於nodejs環境下.，也能夠使用http發起請求

superagent-charset防止爬取下來的數據亂碼，更改字符格式

cheerio爲服務器特別定製的，快速、靈活、實施的jQuery核心實現.。安裝完依賴就能夠引入了

var superagent = require('superagent');
var charset = require('superagent-charset');
charset(superagent);
const cheerio = require('cheerio');
複製代碼

引入以後就請求咱們的地址，https://www.qqtn.com/tx/weixintx_1.html，如圖：

聲明地址變量：

const baseUrl = 'https://www.qqtn.com/'
複製代碼

這些設置完以後就是發請求了，接下來請看完整代碼demo.js

var superagent = require('superagent');
var charset = require('superagent-charset');
charset(superagent);
var express = require('express');
var baseUrl = 'https://www.qqtn.com/'; //輸入任何網址均可以
const cheerio = require('cheerio');
var app = express();
app.get('/index', function(req, res) {
    //設置請求頭
    res.header("Access-Control-Allow-Origin", "*");
    res.header('Access-Control-Allow-Methods', 'PUT, GET, POST, DELETE, OPTIONS');
    res.header("Access-Control-Allow-Headers", "X-Requested-With");
    res.header('Access-Control-Allow-Headers', 'Content-Type');
    //類型
    var type = req.query.type;
    //頁碼
    var page = req.query.page;
    type = type || 'weixin';
    page = page || '1';
    var route = `tx/${type}tx_${page}.html`
    //網頁頁面信息是gb2312，因此chaeset應該爲.charset('gb2312')，通常網頁則爲utf-8,能夠直接使用.charset('utf-8')
    superagent.get(baseUrl + route)
        .charset('gb2312')
        .end(function(err, sres) {
            var items = [];
            if (err) {
                console.log('ERR: ' + err);
                res.json({ code: 400, msg: err, sets: items });
                return;
            }
            var $ = cheerio.load(sres.text);
            $('div.g-main-bg ul.g-gxlist-imgbox li a').each(function(idx, element) {
                var $element = $(element);
                var $subElement = $element.find('img');
                var thumbImgSrc = $subElement.attr('src');
                items.push({
                    title: $(element).attr('title'),
                    href: $element.attr('href'),
                    thumbSrc: thumbImgSrc
                });
            });
            res.json({ code: 200, msg: "", data: items });
        });
});
var server = app.listen(8081, function() {

    var host = server.address().address
    var port = server.address().port

    console.log("應用實例，訪問地址爲 http://%s:%s", host, port)

})
複製代碼