後臺數據同步思路

項目中有一個需求，需要與民政部的數據實時同步。 思路：民政部官網的數據不會直接告訴我們，需要我們去官網查看，每個月民政部會更新兩條href鏈接，是縣級一下或者縣級以上的兩條數據，人工手動定期拷貝略顯的low了，使用爬蟲來獲取網頁數據，再將數據經過篩選存入數據庫，開啓一起定時任務，定時獲取網頁中最新的兩條數據； 實現：所需要的數據，民政部網址是 http://www.mca.gov.cn/artic

>>阅读原文<<