github 代碼commit機器人

時間 2021-05-30

標籤 css html linux git github golang redis json api 服務器欄目 Git 简体版

原文原文鏈接

靈感

曾經有一次在GitHub上看到使用golang自動保存trending的歷史記錄到markdown文件的項目,感受這個項目作的很新穎而精緻.進而作一個在GitHub上自動記錄每日hacknews新聞和貓眼電影.css

知識儲備

html css selector 或者xpath的語法,提出html的有用信息(本身作爬蟲也會使用到)
redis List/SET/HASH等數據結構
熟悉git的基本命令
熟悉ssh key和配置GitHub ssh key 登錄
GO語言: exec,go-redis,goquery,template,http等包
go stmp包發送服務器信息和每日hacknews到本身的郵箱

思路

使用http包下載html文檔
goquery提取html中用的信息
使用第三方翻譯接口翻譯有用信息
保存提取的信息到redis中並去重,設置自動失效時間
獲取去重以後的信息使用go template來渲染markdown格式的文檔
go exec 調用git命令提交生產以後的markdown文件到github 同時更新readme.md文件
發送每日hacknews和服務器的狀態到本身的郵箱

main.go代碼註釋解析

package main

import (
    "github.com/dejavuzhou/md-genie/util"
    "log"
    "time"
)

var gitCount = 1

func createCmds() []util.Cmd {
        //使用兩個帳號輪流交替提交代碼到GitHub
        //可恥的私心:我要讓這兩個GitHub帳號在contributions in the last year 顯示面板都是綠色(表明活躍)
    gitCount++
    gifConfig1 := []util.Cmd{
        {"git", []string{"config", "--global", "user.email", "'dejavuzhou@qq.com'"}},
    }
    gifConfig2 := []util.Cmd{
        {"git", []string{"config", "--global", "user.email", "'1413507308@qq.com'"}},
    }
        //執行一系列git命令 和 linux服務器的命令 來定時監控服務器的健康狀態
    cmds := []util.Cmd{
        {"git", []string{"config", "--global", "user.name", "'EricZhou'"}},
        {"git", []string{"stash"}},
        {"git", []string{"pull", "origin", "master"}},
        {"git", []string{"stash", "apply"}},
        {"git", []string{"add", "."}},
        {"git", []string{"status"}},
        {"git", []string{"commit", "-am", time.Now().Format(time.RFC3339)}},
        {"git", []string{"status"}},
        {"git", []string{"push", "origin", "master"}},
        {"netstat", []string{"-lntp"}},
        {"free", []string{"-m"}},
        {"ps", []string{"aux"}},
    }
    if gitCount%2 == 0 {
        cmds = append(gifConfig2, cmds...)
    } else {
        cmds = append(gifConfig1, cmds...)
    }
    return cmds
}

func main() {
        //比較懶 使用最原始sleep的方法來實現定時任務
    for {   
                //提出hacknews html中的新聞游泳信息調用有道翻譯來 保存信息到redis
                //若是有條件建議使用google翻譯API
        if err := util.SpiderHackNews(); err != nil {
            log.Fatal(err)
        }
                //解析hacknews新聞到markdown文件,按照時間天格式命名
        if err := util.ParseMarkdownHacknews(); err != nil {
            log.Fatal(err)
        }
                //獲取貓眼電影json接口,保存到redis
        if err := util.FetchMaoyanApi(); err != nil {
            log.Fatal(err)
        }
                //解析電影信息到markdown文件
        if err := util.ParseMaoyanMarkdown(); err != nil {
            log.Fatal(err)
        }
                //讀取archieves 文件夾名稱 生成readme.md文件
        util.ParseReadmeMarkdown()
                //運行git linux 命令 保存日誌 slice
        gitlogs, err := util.RunCmds(createCmds())
        if err != nil {
            log.Fatal(err)
        }
                //解析日誌和hacknews新聞 生產email的html正文
                //發送郵件
        if err, mailBody := util.ParseEmailContent(gitlogs); err == nil {
            mailTitle := "md-genie+hacknews日誌:" + time.Now().Format(time.RFC3339)
            util.SendMsgToEmail(mailTitle, mailBody)
        } else {
            log.Fatal(err)
        }
                //天天執行4次 個人兩個GitHub帳號就能夠天天活躍數量爲兩次
        time.Sleep(6 * time.Hour)
    }
}