NodeJS 爬新聞，GitHub actions 部署服務

因爲最近看本地新聞時，老是這個新聞網看到那個新聞網，感受實在是麻煩，興起想本身寫個小爬蟲來爬取一些新聞組合成本身的一個新聞列表。選取 Node 來實現。源碼：news-crawler 效果：news.imondo.cn

思路

爬取網頁涉及到幾個使用的插件庫：

• request 一個 node 請求庫
• cheerio 一個相似於 jQuery 的 DOM 解析庫
• iconv-lite 因爲 Node.js 只有 utf8 編碼規則，那麼若是處理 gbk 編碼規則的文件就會出現亂碼狀況，因此使用其轉碼
• node-schedule Node 的定時任務處理
• ejs 一個模板引擎

程序實現的一個簡單的流程

• 經過 request 獲取網頁信息
• cheerio 分析網頁結構，獲取新聞關鍵信息
• 寫入 json 文件存取
• 經過 ejs 模板展現新聞列表

獲取數據

• 經過 request 來獲取須要爬取的新聞頁

getList(url) {
    return new Promise(resolve => {
      request.get({url, encoding : null}, function(err, res, body) {
        if (err) {
          console.log(err);
        }
        let html =  iconv.decode(body, 'gbk');
        let $ = cheerio.load(html, {decodeEntities: false});
        resolve($);
      });
    })
  }

• 分析頁面機構獲取關鍵信息

async get163List(ctx) {
    const newsList = [];
    const url = 'https://hunan.news.163.com/';
    const $ = await this.getList(url);
    // 熱門新聞
    $('.news-feature').each(function(index, elem) {
      let $elem = $(elem);
      $elem.find('a').each(function(index, e) {
        const $e = $(e);
        const title = $e.text();
        const href = $e.attr('href');
        const hot = $e.parents('h5').length > 0;
        newsList.push({
          title,
          href,
          hot, 
          tag: '網易新聞'
        });
      })
    });
    return newsList;
  }

寫入數據文件

經過 node 的 fs 模塊來寫入咱們獲取獲得的新聞關鍵信息，我選擇已天天日期來命名寫入的文件

fs.writeFile( path.resolve(__dirname, `../database/${dir}.json`), JSON.stringify({
  data
}), function (err) {
  console.log(err);
  if (err) throw err;
  console.log('寫入完成');
});

模板渲染

程序使用 ejs 來渲染，因爲程序主要是使用 koa 來搭建，因此須要用到 koa-static ，koa-views 中間件。


先讀取 json 數據文件

fs.readFile(path.join( __dirname,  `../database/${date}.json`), (err, data) => {
  if (err) {
    reject(null);
  } else {
    resolve(JSON.parse(data.toString()).data);
  }
})

經過讀取的數據渲染

const static = require('koa-static');
const views = require('koa-views');

// 靜態文件
app.use(static(
  path.join( __dirname,  './static')
));

// 加載模板引擎
app.use(views(
  path.join(__dirname, './views'), {
    extension: 'ejs'
  }
));

app.use(async ctx => {
  let list = await crawler.getNews();
  await ctx.render('index', {
    list,
    time: utils.getNowDate()
  })
});

這時小爬蟲其實已經寫完了，可是因爲新聞是有時效性的，咱們須要作個定時任務，來時時爬取新聞

定時任務

node-schedule 的基本用法可參考文檔，程序採用的是每隔 4 小時爬取一次

const schedule = require('node-schedule');
const config = require('./../config');

const rule = new schedule.RecurrenceRule();

rule.hour = config.timeJob;
rule.minute = 0;

/* 定時任務 */
function timeJob (cb) {
  schedule.scheduleJob(rule, function () {
      console.log('定時任務執行一次');
      cb && cb();
  });
}

GitHub actions 部署

程序採用的是 github action 自動部署到本身的服務器。部署私服，首先須要解決登陸服務器校驗的問題，要麼輸入密碼，要麼使用 ssh 密鑰登陸，這裏程序使用的是第二種

SSH 私鑰鏈接

• 登陸本身的服務器，生成私鑰

$ mkdir -p ~/.ssh && cd ~/.ssh
$ ssh-keygen -t rsa -f mysite
Generating public/private rsa key pair.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:

一路回車，會在 ~/.ssh 下生成兩個文件：mysite（私鑰）和mysite.pub（公鑰）。其中私鑰是你的我的登陸憑證，不要分享給他人。公鑰則須要放到登陸的目標服務器上。

• 將公鑰 mysite.pub 的內容貼到目標服務器的 ~/.ssh/authorized_keys 中
• 確保服務器 ~/.ssh 文件夾的權限低於 711，我這裏直接用 600（僅本用戶可讀寫）

chmod 600 -R ~/.ssh

自動化配置

找到 GitHub 上倉庫設置，新增 Secrets 設置，添加 SSH_PRIVATE_KEY 配置，這個就是複製咱們在上一步中mysite
中的私鑰內容，能夠參考圖中添加須要的私密信息

配置文件

GitHub actions 主要是自動讀取倉庫下 .github/workflows 文件夾下的 yml 配置。具體的一些配置含義已寫在配置文件中

name: Mondo News action # 名稱
on:
  push:
    branches:
      - master # 只在 master 上 push 操做觸發部署
    paths-ignore:  # 下列文件的變動不觸發部署，能夠自行添加
      - README.md      
jobs:
  build-and-deploy:
    runs-on: ubuntu-latest # 使用 ubuntu 系統鏡像運行自動化腳本
    steps: # 自動化步驟
    - name: Checkout  # 步驟名稱
      uses: actions/checkout@master # 使用別人包裝好的步驟鏡像
    - name: Deploy file to Server
      uses: wlixcc/SFTP-Deploy-Action@v1.0
      with:  
        username: ${{ secrets.USERNAME }} # 引用配置，用戶名稱
        server: ${{ secrets.SERVER_IP }} # 引用配置，服務器 IP
        ssh_private_key: ${{ secrets.SSH_PRIVATE_KEY }} # 引用配置，SSH 私鑰
        local_path: './*' 
        remote_path: '/front/news'
    - name: Server Start    
      uses: appleboy/ssh-action@master
      with:
        host: ${{ secrets.SERVER_IP }}
        username: ${{ secrets.USERNAME }}
        key: ${{ secrets.SSH_PRIVATE_KEY }}
        port: ${{ secrets.PORT }}
        script: sh /front/news/deploy.sh # 執行腳本命令

能夠看到 GitHub actions 最大的好處的是利用第三方已經寫好的鏡像來作部署，咱們只須要寫下配置就能夠運行，有很大的擴展性。
把配置文件提交至遠程倉庫，能夠在倉庫 Actions 項中看到啓動狀態

總結

此次使用代碼來小試牛刀解決本身生活中的一些問題，也嘗試了 GitHub actions 簡化了一些重複性的部署操做。

---

歡迎關注公衆號，你們一塊兒共同交流和進步。