用Node.js作一個GitHub爬蟲

用Node.js寫了一個爬蟲,能夠獲取GitHub各類編程語言star數前十的庫

在線地址: http://www.flypie.cn:9999/

GitHub地址：

• 前端 https://github.com/flypie2/gi...

• 後臺 https://github.com/flypie2/gi...

技術棧

• 後端框架 koa

• 數據獲取 axios獲取數據 cheerio抓取數據

• 數據存儲可選本地json存儲或redis存儲

• node-schedule 開啓定時任務抓取數據並更新本地存儲

• 前端用vue2.0和MintUI進行數據展現和操做

功能

我閒的沒事的時候常常逛GitHub，看看如今star排行榜上靠前的庫，
因而乾脆作了一個小爬蟲來定時抓取GitHub上star數前十的庫，
而後根據編程語言進行選擇瀏覽，功能很簡單，大概作了一天時間。

主要時間都花在調試，由於GitHub防爬蟲作的很好,
若是發送請求過多過快會被封或返回429錯誤(429表示請求過於頻繁)。

最後放個項目截圖: