cheerio數據抓取

    不少語言都能寫個爬蟲抓取數據，js天然也能夠，使用cheerio能夠支持css檢索，較快捷的獲取須要的數據。首先，先把node.js給安裝了。可到官網下載。安裝好node.js後，使用npm安裝cheerio。

    我這裏使用的是win7，能夠在 node.js command prompt 裏輸入

1 npm install cheerio

要注意的是，到項目所在的目錄下執行。

     接着就能夠開發了，使用node.js http模塊並引入cheerio模塊，使用get方式獲取待抓取的網頁內容，具體的解析能夠參考https://github.com/cheeriojs/cheerio；

 1 var url = "http://www.baidu.com/s?rtt=2&tn=baiduwb&rn=20&cl=2&wd=%BA%A3%D4%F4%CD%F5"
 2 var http = require("http");
 3 // Utility function that downloads a URL and invokes
 4 // callback with the data.
 5 function download(url, callback) {
 6     http.get(url, function(res) {
 7         var data = "";
 8         res.on('data', function(chunk) {
 9             data += chunk;
10         });
11         res.on("end", function() {
12             callback(data);
13         });
14     }).on("error", function() {
15         callback(null);
16     });
17 }
18 var cheerio = require("cheerio");
19 download(url, function(data) {
20     if (data) {
21         var $ = cheerio.load(data);
22         //id爲weibo裏的全部li,每一個li裏的段落p的內容 
23         $('#weibo').find('li').each(function(i, elem) {
24             console.log($(this).find('p').text());
25             console.log(" ");
26         })
27     }
28     else
29         console.log("error");
30 });

保存爲print.js，運行命令執行print.js

1 node print.js

數據獲取成功：