博客園隨筆內容進行爬取至本地並轉md格式

將博客園隨筆保存至本地並轉md格式

1.首先博客園的robots協議

User-Agent: *
Allow: /

2.項目目的

方便博主將以上傳的md隨筆從新根據輸入url進行下載,方便博主修改隨筆

3.項目介紹功能介紹

• 功能一：批量爬取博客園首頁的全部隨筆字典並保存JSON文件，且隨筆所有轉成MD格式文件

• 功能二：輸入指定隨筆網址把隨筆內容轉成MD而且保存

因爲不一樣博客具備不一樣的見狀性`要根據博客能讓進行適當的修改就能夠使用此程序

不要加多進程與多線程進去增長博客園的負擔

爬取內容請不要用作商業用途

4.項目連接

https://github.com/a568972484/html_to_md

項目中的註釋我都去掉了,有註釋的在壓縮文檔中須要的話聯繫我,內容與Crawl_blog_post_3中徹底相同只是有註釋而已

如今收到有些博客的見狀性修改,已經升級到3.0版本,哈哈

內容會不斷更新完善