Navi.Soft31.任務管理器(定時同步+數據採集)

1系統簡介

1.1功能簡述

在衆多的軟件分類中，有幾類的軟件不是很重要，但也很重要。它們有的是每隔一段時間須要執行一些任務的軟件，咱們叫它定時類軟件；還有一種軟件是採集網頁中的數據，咱們叫它採集類軟件。

本產品是任務管理器，包括上述2種軟件

同步服務，能夠根據配置好的時間間隔執行任務。能夠每隔一段時間，也能夠在某個時間點執行

採集服務，能夠採集指定頁面的數據，用於大數據分析。可根據網址直接採集，也能夠可視化採集（如：淘寶中個人訂單，就是須要登陸才能採集）

1.2運行環境

.NET Framework 4.0

1.3使用方法

雙擊軟件圖標，打開登陸頁面，驗證成功後彈出如圖1-1所示

圖1-1

1.4產品亮點

l 定時模塊，任務類型包括：間隔時間和時間點

l 採集模塊，支持可視化採集和非可視化採集

l 完善的日誌模塊幫助問題的定位和解決

2同步服務

2.1配置同步項

只要定義好同步項，這些同步項可保存至內存中，也能夠存儲在數據庫中。用於定義有哪些任務須要定時執行

2.2運行同步項

如上圖所示

1， 記錄同步項的開始和結束時間，定時執行次數，還有配置項，如：間隔時間，時間點等

2， 最下面的日誌用於輸出同步項的操做結果

2.3定時郵件

是指程序每間隔必定時間，向系統管理員發送郵件。以通知管理員系統運行正常

2.4配置採集項

是採集模塊範圍，下一部分詳細描述

3數據採集

3.1主界面

圖3-1

如上圖所示

1. 本產品已經內置幾個採集模板，如：博客園、糗事百科、淘寶網和1688（需登陸後可視化採集）

2. 選中某個採集模板，點擊：建立，至關於建立了這個模板的一個實例（可同時建立多個）

3. 再選中某個實例，點擊：開始。實現採集數據

3.2建立實例

3.3開始採集

如上圖所示

點擊開始後，實現數據採集

3.4採集結果

3.5可視化採集

如果可視化採集，點擊：開始的時候，會自動彈出可視化採集頁面（注：有的須要登陸）

3.5.1調試

l 取分頁數：是指獲取有多少分頁，以下圖所示

l 採集當頁：是指只採集當前頁數據，以下圖所示

l 下一頁：是指當前頁採集完成後，直接觸發：下一頁按鈕，實現頁面翻轉

3.5.2登陸賬戶

是指登陸的賬戶和密碼，可直接複製。固然，須要提早配置好才行

3.5.3採集

採集是指採用調試中的方式，實現對全部頁面的採集。步驟以下

a. 先獲取有多少分頁

b. 循環從第1頁開始採集

c. 當前頁採集成功後，再觸發下一頁按鈕，採集第2頁，直至全部頁面均採集完成

3.6組件化開發

不管是可視化採集，仍是非可視化採集。均已實現組件化開發。如：採集頁面只有一個，不一樣的採集模板，只需傳入不一樣的參數便可實現

4FAQ

4.1FAQ1

問:若360安全衛士開啓時,會彈出是否容許此程序運行,如圖8-1所示

圖8-1

答:選擇:一直容許運行(加入白名單)

4.2FAQ2

問：可視化採集頁面中的瀏覽器控件用的是哪一個？

答：可視化採集控件採用的是微信自帶的WebBrowser控件，在Win7或Win10系統中，它須要修改註冊，來保證使用的IE內核與系統的IE內核保持一致

5後記

對本產品感興趣的，能夠加我微信號(xiyang1011或13867408830)私聊

 

個人博客即將搬運同步至騰訊雲+社區，邀請你們一同入駐：https://cloud.tencent.com/developer/support-plan