可視化監控爬蟲
最近接到新的需求作可視化監控爬蟲,搞了3個小時終於成了。。。
- 環境搭建
我是在windows下搭建的環境,在這裏只說windows
InfluxDb,是目前比較流行的時間序列數據庫;
下載地址:https://dl.influxdata.com/influxdb/releases/influxdb-1.7.6_windows_amd64.zip
安裝:解壓安裝便可,目前的配置文件去掉了admin可視化配置。
可視化配置:要使用web管理須要下載Chronograf,https://portal.influxdata.com...,下載完直接解壓,雙擊exe程序,在瀏覽器輸入http://localhost:8888/,一開始登陸要帳戶密碼,我都用admin就進去了
Grafana,一個可視化面板(Dashboard),有着很是漂亮的圖表和佈局展現,功能齊全的度量儀表盤和圖形編輯器,支持Graphite、zabbix、 InfluxDB、Prometheus和OpenTSDB做爲數據源
下載地址:Download the zip file
安裝:該zip文件包含一個包含當前Grafana版本的文件夾。將此文件夾解壓縮到您但願Grafana運行的任何位置。進入conf目錄並複製sample.ini到custom.ini。你應該編輯custom.ini,永遠不要defaults.ini。默認的Grafana端口是3000,此端口須要Windows上的額外權限。編輯custom.ini和取消註釋http_port配置選項(;是ini文件中的註釋字符)並將其更改成相似8080或相似的內容。該端口不該該須要額外的Windows權限。http://127.0.0.1:3000便可啓動,默認登陸名和密碼admin/admin
influxdb(pip install influxdb)
Python 3.6
代碼:(借用崔慶才老師的代碼:連接:https://cuiqingcai.com/6217.html
)
- 最後結果;
- 意外發現
influxdb的可視化界面chronograf也呈現出了監控結果。