Telegraf+Influxdb+Grafana 輕量級監控系統部署

本方案中採用 數據存儲(InfluxDB),數據採集(Telegraf),數據展現(Grafana )。
node

先簡要介紹一下InfluxData這家公司。InfluxData是一家從事物聯網設備數據捕捉、分析的大數據公司。InfluxDB是InfluxData的核心產品。InfluxDB是一個開源分佈式時序、時間和指標數據庫,使用Go語言編寫,無需外部依賴。其設計目標是實現分佈式和水平伸縮擴展。目前已經有超過40000個獨立網站在使用InfluxDB,其中包括IBM、CISCO、ebay、NORDSTORM、Mozilla等知名公司。web

1、InfluxDB的安裝與部署

InfluxDB 是一個開源分佈式時序、事件和指標數據庫。使用 Go 語言編寫,無需外部依賴。其設計目標是實現分佈式和水平伸縮擴展。docker

一、官網下載rpm文件並安裝shell

wget https://dl.influxdata.com/influxdb/releases/influxdb-1.8.1.x86_64.rpm
yum localinstall influxdb-1.8.1.x86_64.rpm

二、啓動服務數據庫

----systemctl start influxdb 啓動服務
systemctl status influxdb ----查看服務狀態

三、登陸驗證vim

[root@aly ~]# influx
Connected to http://localhost:8086 version 1.8.1
InfluxDB shell version: 1.8.1
>

四、登陸數據庫,建立數據庫,並建立用戶且受權服務器

[root@manager ~]# influx
> create database telegraf;
> use telegraf;
> create user "fxkj" with password '123456' with all privileges;
> show users;
user admin
---- -----
fxkj true
>

若是,InfluxDB要開啓登入認證的話,須要修改 /etc/influxdb/influxdb.conf 文件中的[http]部分,將如下兩個參數設置爲true微信

[http]
# Determines whether HTTP endpoint is enabled.
enabled = true

# Determines whether user authentication is enabled over HTTP/HTTPS.
auth-enabled = true

修改完以後,記得重啓influxdbapp

systemctl restart influxdb

五、 使用用戶名,密碼登陸分佈式

[root@aly ~]# influx -username fxkj -password '123456'
Connected to http://localhost:8086 version 1.8.1
InfluxDB shell version: 1.8.1
> show databases;
name: databases
name
----
_internal
telegraf
>

六、influxdb 數據庫常見操做命令

建立一個新的管理員用戶
>>CREATE USER <username> WITH PASSWORD '<password>' WITH ALL PRIVILEGES



爲一個已有用戶受權管理員權限
GRANT ALL PRIVILEGES TO <username>


取消用戶權限
REVOKE ALL PRIVILEGES FROM <username>

展現用戶及其權限
SHOW USERS

非管理員用戶管理:
建立一個新的普通用戶
CREATE USER <username> WITH PASSWORD '<password>'


爲一個已有用戶受權
GRANT [READ,WRITE,ALL] ON <database_name> TO <username>

取消權限
REVOKE [READ,WRITE,ALL] ON <database_name> FROM <username>


展現用戶在不一樣數據庫上的權限
SHOW GRANTS FOR <user_name>


重設密碼
>SET PASSWORD FOR <username> = '<password>'


刪除用戶
>>DROP USER <username>



查看數據庫
> show databases

除數據庫
>drop database telegraf
#刪除表
> drop measurement cpu;

#使用\切換數據庫
> use cpu

#查看全部表
> show measurements

#查看錶中有哪些字段
>show field keys from cpu;

2、Telegraf的安裝與部署

Telegraf 是實現 數據採集 的工具。Telegraf 具備內存佔用小的特色,經過插件系統開發人員可輕鬆添加支持其餘服務的擴展。

一、官網下載rpm文件並安裝

wget https://dl.influxdata.com/telegraf/releases/telegraf-1.15.1-1.x86_64.rpm
yum localinstall telegraf-1.15.1-1.x86_64.rpm

二、建立配置文件

修改Telegraf配置文件進行採集項的配置,配置文件默認位於/etc/telegraf/telegraf.conf 中

telegraf 官網有 Input Plugins 輸出部分 對各個系統、應用、服務的監控項配的參考https://docs.influxdata.com/telegraf/v1.12/plugins/plugin-list/

備份原先的配置文件 mv /etc/telegraf/telegraf.conf /etc/telegraf/telegraf.conf-bak

建立一個 新的配置文件, vim /etc/telegraf/telegraf.conf

#interval = "10s" 表示每10秒 telegraf 採集一次數據

#flush_interval = "10s" 表示 每10秒 telegraf 往 influxdb 裏插入數據

#logfile = "/tmp/telegraf.log" 定義telegraf 日誌輸出路徑

#[[outputs.influxdb]] 輸出到influxdb 中,填寫 數據庫地址,數據庫名稱,數據庫帳戶以及密碼

#[[inputs.*]] 定義的是 telegraf 收集的內容,這裏 收集了 CPU, 系統負載,內存,磁盤空間,磁盤IO,網卡流量 ;fieldpass 表示只 收集 須要的這些字段,過濾其餘字段(同時也減輕數據收集入庫的壓力) 具體的 參數能夠在 telegraf 的官網查詢 幫助手冊

[global_tags]
[agent]
interval = "10s"
round_interval = true
metric_batch_size = 1000
metric_buffer_limit = 10000
collection_jitter = "0s"
flush_interval = "10s"
flush_jitter = "0s"
precision = ""
debug = false
quiet = false
logfile = "/tmp/telegraf.log"
hostname = ""
omit_hostname = false

[[outputs.influxdb]]
urls = ["http://127.0.0.1:8086"]
database = "telegraf"
username = "fxkj"
password = "123456"

[[inputs.cpu]]
percpu = false
totalcpu = true
collect_cpu_time = false
report_active = false
fieldpass = ["usage_idle", "usage_iowait", "usage_system", "usage_user"]

[[inputs.system]]
fieldpass = ["load1", "load5", "load15"]

[[inputs.mem]]
fieldpass = ["available"]

[[inputs.disk]]
fieldpass = ["free", "inodes_free", "used_percent"]
ignore_fs = ["tmpfs", "devtmpfs", "devfs", "overlay", "aufs", "squashfs"]

[[inputs.diskio]]
fieldpass = ["read_bytes", "write_bytes", "reads","writes"]

[[inputs.net]]
interfaces = ["eth*"]
fieldpass = ["bytes_recv", "bytes_sent"]

三、啓動服務

systemctl enable telegraf
systemctl start telegraf

四、查看telegraf刷新的日誌

2020-08-03T02:46:09Z I! Loaded inputs: cpu system mem disk diskio net
2020-08-03T02:46:09Z I! Loaded aggregators:
2020-08-03T02:46:09Z I! Loaded processors:
2020-08-03T02:46:09Z I! Loaded outputs: influxdb
2020-08-03T02:46:09Z I! Tags enabled: host=test
2020-08-03T02:46:09Z I! [agent] Config: Interval:10s, Quiet:false, Hostname:"test", Flush Interval:10s

五、登陸到Influxdb 中查看收集上來的數據

[root@aly ~]# influx -username fxkj -password '123456'

Connected to http://localhost:8086 version 1.8.1
InfluxDB shell version: 1.8.1
> use telegraf #進入到數據庫中
Using database telegraf
> show measurements #查詢庫中全部表
name: measurements
name
----
cpu
disk
diskio
mem
net
system
> select * from mem #查看mem內存 表裏的內容
name: mem
time available host
---- --------- ----
1596423350000000000 899223552 test
1596423360000000000 925679616 test
1596423360000000000 899506176 test
1596423370000000000 946384896 test
>

能夠看到採集到數據了

3、Grafana的安裝與部署

一、安裝Gfrafana

這裏我採用docker 的方式安裝

docker run -d --name=grafana -p 3000:3000 grafana/grafana

二、登陸Grafana web 控制檯

訪問:http://127.0.0.1:3000 默認帳戶密碼 admin , 初次登陸會強制讓你更改密碼


三、在Grafana 中添加 influxdb 數據源

點擊 左側,Configuration 選項


點擊 Data Sources 中 , Add data source


選擇Influxdb 


填寫數據源 ,Name 名稱 (telegraf) , URL 地址 , 數據庫名稱,用戶名,密碼 

點擊 Save & Test 對添加的數據源進行檢測,顯示 Data source is working 即表示成功



四、建立圖標

首先建立一個dashboards 

點擊左側,+ 號 


點擊 右上角 Dashboard settings 選項, name 名稱 命名爲 :test

保存 Dashboard 



點擊右上角 , Add panel 選項


  • 第一步: 選擇數據源,選擇咱們剛剛建立的數據源,名稱爲teltegraf


  • 第二步: 選擇一張表 (咱們採集的數據源有 mem , cpu ,disk,diskio,system,net 等這些表 )

這裏我用system 這個負載表 來演示


  • 第三步: 選擇 須要查詢的字段 ,這裏選擇三個字段(load1,load5,load15 )分別表示系統在這三個時間段的負載狀況 ; 

#默認只顯示一個字段,能夠用過+ 號 ,增長字段


#增長alias() 能夠給字段定義別名


例如: 


#Group BY 分組 選擇,tag (host) 分組,若是 監控的是多臺服務器,每臺服務器的主機名 都不相同,就能夠在一張圖內 顯示 多臺主機 的監控信息


  • 第四步:圖標參數調整

#座標軸 單位大小的定義

點擊右邊 AXES——>left Y , Unit 這裏的單位咱們選擇none


#修改圖表 的名稱

點擊 右邊 settings——> panel title 修更名稱 這裏給這張表定義名稱爲 system 負載


#選擇 圖表 的類型

點擊 右邊 Visualization ,選擇合適的圖表 ,這裏咱們選擇Graph 圖表類型


#在 圖表 下方 顯示 數據(最小值,最大值,平均值,最新值 等)

點擊 右邊 Legend ——> Values , 這裏咱們選擇 current 最新值



  • 第五步:保存 圖表

4、圖表 展現


來源:

https://www.toutiao.com/i6856560121930056204/



好文章,我 在看❤

本文分享自微信公衆號 - DataScience(DataScienceTeam)。
若有侵權,請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」,歡迎正在閱讀的你也加入,一塊兒分享。

相關文章
相關標籤/搜索