nodejs express cheerio request爬蟲

時間 2019-11-25

標籤 nodejs express cheerio request 爬蟲欄目網絡爬蟲简体版

原文原文鏈接

const express = require('express')
const cheerio = require('cheerio')
const request = require("request")
const app = express()

app.get("/:key", function (req, res) {
    let spider = new Spider()
    console.log(req.params.key)
    spider.fetch("http://www.baidu.com/s?wd=" + req.params.key, (err, $) => {
        spider.parse(err, $, res)
    })
})
app.post('/postData', function (req, res) {  //這裏參數加上剛剛的解析的並且這裏不是get了
    let result = req.body
    res.send(result);
})
app.listen(3000, () => {
    console.log("開啓服務，端口3000")
})


class Spider {
    fetch(url, callback) {
        request({url: url, encoding: null}, (err, response, body) => {
            if (!err && response.statusCode === 200) {
                callback(null, cheerio.load('<body>' + body + '</body>'));
            } else {
                callback(err, cheerio.load('<body></body>'));
            }
        })
    }

    parse(err, $, res) {
        if (!err) {
            let result = $('body').find("#content_left").html()
            res.send(result)
        }
    }

}

1. nodejs爬蟲筆記(一)---request與cheerio等模塊的應用
2. nodejs爬蟲 http，cheerio，mysql模塊
3. NodeJs+Request+Cheerio 採集數據
4. nodejs實現爬蟲
5. 爬蟲cheerio亂碼問題
6. nodejs爬蟲
7. nodejs的爬蟲
8. Nodejs小爬蟲
9. nodejs 小爬蟲
10. 4、nodejs使用 superagent 與 cheerio 完成簡單爬蟲
更多相關文章...
• ASP Request 對象 - ASP 教程
• ASP ServerVariables 集合 - ASP 教程
• Flink 數據傳輸及反壓詳解

相關標籤/搜索

nodejs+request+cheerio

nodeJS爬蟲

nodejs+http+fs+request+cheerio