nodeJs爬蟲小程序練習

//爬蟲小程序

var express = require('express');
    //superagent是一個http的庫，能夠發起get和post請求
    var superagent = require('superagent');
    //cheerio是一個相似於jquery的庫，用來從網頁中以css 選擇器取數據，
    //使用方式和jquery相同
    var cheerio = require('cheerio');
    
    var app = express();
    
    app.get('/', function(req, res, next){
        superagent.get('https://cnodejs.org/')
        .end(function(err,sres){
            //常規錯誤處理
            if(err){
                return next(err);
            }
            var $ = cheerio.load(sres.text);
            var items = [];//數組
            $('#topic_list .topic_title').each(function(idx, element){
                var $element = $(element);
                items.push({
                    title: $element.attr('title'),
                    href: $element.attr('href')
                });
            });
    
            res.send(items);
        });
    });
    
    app.listen(3000,function(req,res){
        console.log('app is run at port 3000');
    });

• SuperAgent是輕量級的漸進式ajax API，靈活性高，可讀性高。能夠經過調用request對象上的適當方法.end()來啓動請求，而後調用發送請求。例如一個簡單的GET請求：

  request
       .get('/search')
       .end(function(err, res){
  
       });