node爬蟲

node是服務器端的語言，因此能夠像python同樣對網站進行爬取，下面就使用node對博客園進行爬取，獲得其中全部的章節信息。

 

第一步： 創建crawl文件，而後npm init。

 

 

第二步： 創建crawl.js文件，一個簡單的爬取整個頁面的代碼以下所示：

var http = require("http");var url = "http://www.cnblogs.com";

http.get(url, function (res) {    var html = "";
    res.on("data", function (data) {
        html += data;
    });
    res.on("end", function () {
        console.log(html);
    });
}).on("error", function () {
    console.log("獲取課程結果錯誤！");
});

即引入http模塊，而後利用http對象的get請求，即一旦運行，至關於node服務器端發送了一個get請求請求這個頁面，而後經過res返回，其中on綁定data事件用來不斷地接受數據，最後end時咱們就在後臺打印出來。

 

這只是整個頁面的一部分，咱們能夠在此頁面審查元素，發現確實是同樣的

 

咱們只須要將其中的章節title和每一小節的信息爬到便可。 

 

 

第三步： 引入cheerio模塊，以下：（在gitbash中安裝便可，cmd老是出問題）

cnpm install cheerio --save-dev

這個模塊的引入，就是爲了方便咱們操做dom，就像jQuery同樣。

 

第四步： 操做dom，獲取有用信息。

var http = require("http");var cheerio = require("cheerio");var url = "http://www.cnblogs.com";

function filterData(html) {    var $ = cheerio.load(html); 
    var items = $(".post_item");    var result = [];
    items.each(function (item) {        var tit = $(this).find(".titlelnk").text();        var aut = $(this).find(".lightblue").text();        var one = {
            title: tit,
            author: aut
        };
        result.push(one);
    });    return result;
}

function printInfos(allInfos) {
    allInfos.forEach(function (item) {
        console.log("文章題目  " + item["title"] + '\n' + "文章做者  " + item["author"] + '\n'+ '\n');
    });
}

http.get(url, function (res) {    var html = "";
    res.on("data", function (data) {
        html += data;
    });
    res.on("end", function (data) {        var allInfos = filterData(html);
        printInfos(allInfos);
    });
}).on("error", function () {
    console.log("爬取博客園首頁失敗")
});

即上面的過程就是在爬取博客的題目和做者。

 

最終後臺輸出以下：

 

這和博客園首頁的內容是一致的：