NodeJS爬蟲

這是一個NodeJS爬蟲項目，用於爬取愛去小說網的小說資源，很是適合新手學習NodeJS，感覺NodeJS的魅力

經測試，爬取併合並1645章的鬥破蒼穹耗時約6min

項目使用的模快主要有：

• async

• cheerio

• superagent

• superagent-charset

• mysql

• bluebird

• cron

async

異步流程控制模快，用於優化下載速度

cheerio

服務端的jQuery，替代繁瑣的正則表達式，大大提升了開發效率

superagent

輕量級的http請求模快，高效靈活

superagent-charset

對superagent抓取頁面進行轉碼，NodeJS平臺gbk轉utf8神器

mysql

NodeJS的MySQL驅動模快，我用它實現了一個很是簡易的ORM

bluebird

API Promise化，便於使用async/await進行流程控制

cron

任務調度模快

項目地址見Github