輿情繫統設計方案

1.爬蟲抓取環節css 須要解析來源不少種類的不一樣網站，每一個網站所須要抓取信息的html，css格式大不相同，這個時候須要構造一個通用模版類來解析一部分網站模版的需求，而後再構造一個獨立解析的後臺系統供編輯使用建立須要解析的模版，而後爬蟲系統自動讀取後臺要解析的獨立模版來解析對應的網站內容 html 2.爬蟲監控環節網站 監控環節包括監控每一個種類每一個爬蟲抓取的數據量，以及監控爬蟲的錯誤日誌

>>阅读原文<<