http 小爬蟲

初學nodejs寫一個http小爬蟲，爬蟲就是把網頁上的代碼爬下來。

代碼：

var http = require('http') //加載http模塊
var url = 'http://www.imooc.com/learn/713'

http.get(url,function(res){   //get去請求url，此處以慕課網爲例
var html = ''
res.on('data',function(data){
html += data     //請求數據賦值給前面定義的html
})
res.on('end',function(){
console.log(html)  //打印html
}).on('error',function(){
console.log('獲取課程數據出錯！')
})
})

 

保存，而後在node環境下運行 ，命令:node 文件名  

親測成功。

案例二：

首先須要安裝一下cheerio模塊，cheerio模塊能夠在服務器端使用jquery的方式

安裝方法:

npm install cheerio

首先開啓本地一個服務器測試一下

//js代碼

var http = require('http')

http

　　.createServer(function(req,res){

res.writeHead(200,{'Content-Type':'text/plain});

res.write('開始了');

res.end();

}).listen(8080);

下面貼代碼：

'use strict';
var http = require('http')
var cheerio = require('cheerio')
var url = 'http://www.imooc.com/learn/348'
function filterChapters(html){
var $ = cheerio.load(html)
var chapters = $('.chapter')
/*[{
chapterTitle: '',
videos:[
title:'',
id: ''
]
}]*/
var courseData = []
chapters.each(function(item){
var chapter = $(this)
var chapterTitle = chapter.find('strong').text()
var videos = chapter.find('.video').children('li')
var chapterData = {
chapterTitle: chapterTitle,
videos:[]
}
videos.each(function(item){
var video = $(this).find('.J-media-item')
var videoTitle = video.text()
var id = video.attr('href').split('video/')[1]
chapterData.videos.push({
title: videoTitle,
id: id
})

})
courseData.push(chapterData)
})
return courseData
}
function printCourseInfo(courseData){
console.log('獲取課程數據1！')
courseData.forEach(function(item){
var chapterTitle = item.chapterTitle
console.log(chapterTitle + '\n')
item.videos.forEach(function(video){
console.log('【' + video.id +'】' + video.title + '\n')
})
console.log('獲取課程數據2！')
})
}
http.get(url,function(res){
var html = ''
res.on('data',function(data){
html += data
})
res.on('end',function(){
var courseData = filterChapters(html)
printCourseInfo(courseData)
}).on('error',function(){
console.log('獲取課程數據出錯！')
})
console.log('獲取課程數據3！')

})

親測有效