【Python】抓取淘寶數據庫月報，發送郵件，本地存檔，保存元信息

用途

• 按期抓取淘寶數據庫月報
• 發送郵件，保存到本地，最好是git中
• 發送元數據到mysql中，後期能夠作成接口集成到運維平臺中，便於查詢

使用方式

# 下載（必須）
cd ~ && git clone https://github.com/naughtyGitCat/spider_taobao_mysql.git

# 修改配置（必須）
vim config.py

# 安裝crontab（可選）
"0 10 8 * * source ~/.bashrc && python3 ~/spider_taobao_mysql/main.py" 

# 安裝依賴
pip3 install logbook
pip3 install html2text
pip3 install pymysql
pip3 install requests_html

# 建立元信息庫表（可選）
mysql -d mysql -u root -p < taobao_monthly_report.sql 

# 執行程序
python3 main.py

完成狀況:

• 按期抓取用crontab來作，不放到本腳本中
• 發送郵件，保存到本地(html)皆完成
• 保存元數據

問題

• 爲何郵件正文只有前言部分？由於郵件有反垃圾措施，全文容易被屏蔽
• 爲何收件人只有一個？由於郵件有反垃圾措施，多人容易被屏蔽，能夠發送到同一個郵箱中，而後自動轉發
• 能夠也能夠保存md格式到本地，可是個人md編輯器好像加載不了圖片，就是用了html的格式本地保存
• 本地保存以及發送html時都損失了樣式，不太美觀，但我在郵件正文中增長了原文連接。
• 文章中的圖片沒有本地化，理論上是有圖片失效的問題的。但考慮到各位都有閱讀後及時總結整理的好習慣，也就無所謂了。

注意

• 一個月運行一次就夠了，能夠放到crontab中每個月執行一次，自動抓取上個月的文章內容
• 阿里的頁面是到下個月後一次性放出上個月全部的文章，總數目前看基本是10篇，
• 若是發現其一次放出了>10篇的文章，請聯繫我進行更改

依賴包

• logbook 日誌
• html2text 格式轉換爲md
• pymysql 上傳元數據
• requests_html 抓取網頁的正文

TODO:

• 緩存本地圖片
• 把insert into 改爲replace into