Node.js爬取豆瓣數據

一直自覺得本身vue還能夠，一直自覺得webpack還能夠，今天在慕課逛node的時候，才發現，本身還差的很遠。衆所周知，vue-cli基於webpack，而webpack基於node，對node不瞭解，談什麼瞭解webpack。因此就本身給本身出了一道題，爬取豆瓣數據，目前還處於初級階段。今天就淺談爬取到豆瓣的數據，再另外一個頁面用本身的方式展示，後續會跟進。

一、須要解決的問題

①、搭建服務

②、怎麼處理爬到的數據

③、怎麼自動打開默認瀏覽器

二、搭建服務

搭建服務有好幾種方式，一開始我用的http，可是http有個弊端就是不能解析https協議的url，因此就用了express，解析https協議的網址我用了request包，豆瓣的網址是https的，

今天爬取的是https://movie.douban.com/chart這個網址；以下圖，我要獲取的有三個部分，圖片、電影名字、電影連接.

三、怎麼處理爬到的數據

咱們用request爬到的數據，怎麼處理呢？cheerio包可讓咱們像Jq那樣處理爬到的html數據。

①、首先解析數據，取到爬取網頁的html數據；

②、而後利用cheerio包操做爬到的數據，取到你想要的數據。

③、取到數據，建立html，輸出到頁面。以下圖，我用的字符串拼接，辦法有點笨，尚未找到更好的辦法。

四、怎麼自動打開默認瀏覽器

不知道你有沒有看vue-cli中webpack的配置，自動打開瀏覽器，vue-cli用的opn包.

這個包用起來很方便，引入包，直接調用opn（url）便可；

五、展現

關注微信公衆號雞湯小弟