本方案中採用 數據存儲(InfluxDB),數據採集(Telegraf),數據展現(Grafana )。
node
先簡要介紹一下InfluxData這家公司。InfluxData是一家從事物聯網設備數據捕捉、分析的大數據公司。InfluxDB是InfluxData的核心產品。InfluxDB是一個開源分佈式時序、時間和指標數據庫,使用Go語言編寫,無需外部依賴。其設計目標是實現分佈式和水平伸縮擴展。目前已經有超過40000個獨立網站在使用InfluxDB,其中包括IBM、CISCO、ebay、NORDSTORM、Mozilla等知名公司。web
1、InfluxDB的安裝與部署
InfluxDB 是一個開源分佈式時序、事件和指標數據庫。使用 Go 語言編寫,無需外部依賴。其設計目標是實現分佈式和水平伸縮擴展。docker
一、官網下載rpm文件並安裝shell
wget https://dl.influxdata.com/influxdb/releases/influxdb-1.8.1.x86_64.rpm
yum localinstall influxdb-1.8.1.x86_64.rpm
二、啓動服務數據庫
----systemctl start influxdb 啓動服務
systemctl status influxdb ----查看服務狀態
三、登陸驗證vim
[root@aly ~]# influx
Connected to http://localhost:8086 version 1.8.1
InfluxDB shell version: 1.8.1
>
四、登陸數據庫,建立數據庫,並建立用戶且受權服務器
[root@manager ~]# influx
> create database telegraf;
> use telegraf;
> create user "fxkj" with password '123456' with all privileges;
> show users;
user admin
---- -----
fxkj true
>
若是,InfluxDB要開啓登入認證的話,須要修改 /etc/influxdb/influxdb.conf 文件中的[http]部分,將如下兩個參數設置爲true微信
[http]
# Determines whether HTTP endpoint is enabled.
enabled = true
# Determines whether user authentication is enabled over HTTP/HTTPS.
auth-enabled = true
修改完以後,記得重啓influxdbapp
systemctl restart influxdb
五、 使用用戶名,密碼登陸分佈式
[root@aly ~]# influx -username fxkj -password '123456'
Connected to http://localhost:8086 version 1.8.1
InfluxDB shell version: 1.8.1
> show databases;
name: databases
name
----
_internal
telegraf
>
六、influxdb 數據庫常見操做命令
建立一個新的管理員用戶
>>CREATE USER <username> WITH PASSWORD '<password>' WITH ALL PRIVILEGES
爲一個已有用戶受權管理員權限
GRANT ALL PRIVILEGES TO <username>
取消用戶權限
REVOKE ALL PRIVILEGES FROM <username>
展現用戶及其權限
SHOW USERS
非管理員用戶管理:
建立一個新的普通用戶
CREATE USER <username> WITH PASSWORD '<password>'
爲一個已有用戶受權
GRANT [READ,WRITE,ALL] ON <database_name> TO <username>
取消權限
REVOKE [READ,WRITE,ALL] ON <database_name> FROM <username>
展現用戶在不一樣數據庫上的權限
SHOW GRANTS FOR <user_name>
重設密碼
>SET PASSWORD FOR <username> = '<password>'
刪除用戶
>>DROP USER <username>
查看數據庫
> show databases
除數據庫
>drop database telegraf
#刪除表
> drop measurement cpu;
#使用\切換數據庫
> use cpu
#查看全部表
> show measurements
#查看錶中有哪些字段
>show field keys from cpu;
2、Telegraf的安裝與部署
Telegraf 是實現 數據採集 的工具。Telegraf 具備內存佔用小的特色,經過插件系統開發人員可輕鬆添加支持其餘服務的擴展。
一、官網下載rpm文件並安裝
wget https://dl.influxdata.com/telegraf/releases/telegraf-1.15.1-1.x86_64.rpm
yum localinstall telegraf-1.15.1-1.x86_64.rpm
二、建立配置文件
修改Telegraf配置文件進行採集項的配置,配置文件默認位於/etc/telegraf/telegraf.conf 中
telegraf 官網有 Input Plugins 輸出部分 對各個系統、應用、服務的監控項配的參考https://docs.influxdata.com/telegraf/v1.12/plugins/plugin-list/
備份原先的配置文件 mv /etc/telegraf/telegraf.conf /etc/telegraf/telegraf.conf-bak
建立一個 新的配置文件, vim /etc/telegraf/telegraf.conf
#interval = "10s" 表示每10秒 telegraf 採集一次數據
#flush_interval = "10s" 表示 每10秒 telegraf 往 influxdb 裏插入數據
#logfile = "/tmp/telegraf.log" 定義telegraf 日誌輸出路徑
#[[outputs.influxdb]] 輸出到influxdb 中,填寫 數據庫地址,數據庫名稱,數據庫帳戶以及密碼
#[[inputs.*]] 定義的是 telegraf 收集的內容,這裏 收集了 CPU, 系統負載,內存,磁盤空間,磁盤IO,網卡流量 ;fieldpass 表示只 收集 須要的這些字段,過濾其餘字段(同時也減輕數據收集入庫的壓力) 具體的 參數能夠在 telegraf 的官網查詢 幫助手冊
[global_tags]
[agent]
interval = "10s"
round_interval = true
metric_batch_size = 1000
metric_buffer_limit = 10000
collection_jitter = "0s"
flush_interval = "10s"
flush_jitter = "0s"
precision = ""
debug = false
quiet = false
logfile = "/tmp/telegraf.log"
hostname = ""
omit_hostname = false
[[outputs.influxdb]]
urls = ["http://127.0.0.1:8086"]
database = "telegraf"
username = "fxkj"
password = "123456"
[[inputs.cpu]]
percpu = false
totalcpu = true
collect_cpu_time = false
report_active = false
fieldpass = ["usage_idle", "usage_iowait", "usage_system", "usage_user"]
[[inputs.system]]
fieldpass = ["load1", "load5", "load15"]
[[inputs.mem]]
fieldpass = ["available"]
[[inputs.disk]]
fieldpass = ["free", "inodes_free", "used_percent"]
ignore_fs = ["tmpfs", "devtmpfs", "devfs", "overlay", "aufs", "squashfs"]
[[inputs.diskio]]
fieldpass = ["read_bytes", "write_bytes", "reads","writes"]
[[inputs.net]]
interfaces = ["eth*"]
fieldpass = ["bytes_recv", "bytes_sent"]
三、啓動服務
systemctl enable telegraf
systemctl start telegraf
四、查看telegraf刷新的日誌
2020-08-03T02:46:09Z I! Loaded inputs: cpu system mem disk diskio net
2020-08-03T02:46:09Z I! Loaded aggregators:
2020-08-03T02:46:09Z I! Loaded processors:
2020-08-03T02:46:09Z I! Loaded outputs: influxdb
2020-08-03T02:46:09Z I! Tags enabled: host=test
2020-08-03T02:46:09Z I! [agent] Config: Interval:10s, Quiet:false, Hostname:"test", Flush Interval:10s
五、登陸到Influxdb 中查看收集上來的數據
[root@aly ~]# influx -username fxkj -password '123456'
Connected to http://localhost:8086 version 1.8.1
InfluxDB shell version: 1.8.1
> use telegraf #進入到數據庫中
Using database telegraf
> show measurements #查詢庫中全部表
name: measurements
name
----
cpu
disk
diskio
mem
net
system
> select * from mem #查看mem內存 表裏的內容
name: mem
time available host
---- --------- ----
1596423350000000000 899223552 test
1596423360000000000 925679616 test
1596423360000000000 899506176 test
1596423370000000000 946384896 test
>
能夠看到採集到數據了
3、Grafana的安裝與部署
一、安裝Gfrafana
這裏我採用docker 的方式安裝
docker run -d --name=grafana -p 3000:3000 grafana/grafana
二、登陸Grafana web 控制檯
訪問:http://127.0.0.1:3000 默認帳戶密碼 admin , 初次登陸會強制讓你更改密碼
三、在Grafana 中添加 influxdb 數據源
點擊 左側,Configuration 選項
點擊 Data Sources 中 , Add data source
選擇Influxdb
填寫數據源 ,Name 名稱 (telegraf) , URL 地址 , 數據庫名稱,用戶名,密碼
點擊 Save & Test 對添加的數據源進行檢測,顯示 Data source is working 即表示成功
四、建立圖標
首先建立一個dashboards
點擊左側,+ 號
點擊 右上角 Dashboard settings 選項, name 名稱 命名爲 :test
保存 Dashboard
點擊右上角 , Add panel 選項
第一步: 選擇數據源,選擇咱們剛剛建立的數據源,名稱爲teltegraf
第二步: 選擇一張表 (咱們採集的數據源有 mem , cpu ,disk,diskio,system,net 等這些表 )
這裏我用system 這個負載表 來演示
第三步: 選擇 須要查詢的字段 ,這裏選擇三個字段(load1,load5,load15 )分別表示系統在這三個時間段的負載狀況 ;
#默認只顯示一個字段,能夠用過+ 號 ,增長字段
#增長alias() 能夠給字段定義別名
例如:
#Group BY 分組 選擇,tag (host) 分組,若是 監控的是多臺服務器,每臺服務器的主機名 都不相同,就能夠在一張圖內 顯示 多臺主機 的監控信息
第四步:圖標參數調整
#座標軸 單位大小的定義
點擊右邊 AXES——>left Y , Unit 這裏的單位咱們選擇none
#修改圖表 的名稱
點擊 右邊 settings——> panel title 修更名稱 這裏給這張表定義名稱爲 system 負載
#選擇 圖表 的類型
點擊 右邊 Visualization ,選擇合適的圖表 ,這裏咱們選擇Graph 圖表類型
#在 圖表 下方 顯示 數據(最小值,最大值,平均值,最新值 等)
點擊 右邊 Legend ——> Values , 這裏咱們選擇 current 最新值
第五步:保存 圖表
4、圖表 展現
來源:
https://www.toutiao.com/i6856560121930056204/
好文章,我 在看❤
本文分享自微信公衆號 - DataScience(DataScienceTeam)。
若有侵權,請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」,歡迎正在閱讀的你也加入,一塊兒分享。