利用Maxwell組件實時監聽Mysql的binlog日誌

 

一：在linux環境下安裝部署好mysql

 

開啓binlog

Vim  /etc/my.cnf

mysql的binlog格式有3種，爲了把binlog解析成json數據格式，要設置binlog的格式爲row（binlog有三種格式：Statement、Row以及Mixed）

 

 

3重啓msyql服務

service mysqld restart

查看是否已經開啓binlog

 

查看是否已經開啓binlog 是否改成row模式

/var/lib/mysql下看到生成了相應的binlog監聽日誌文件，如圖，master.000001文件，每次重啓msyql服務，就會生成一個新的監聽文件

 

 

配置Maxwell相關的部署工做

1下載Maxwell

官網

http://maxwells-daemon.io/

安裝 tar –zxvf maxwell-1.14.4.tar.gz

 

建立Maxwell的db和用戶

create database maxwell;

GRANT ALL on maxwell.* to 'maxwell'@'%' identified by '123456’;

GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE on *.* to 'maxwell'@'%';

flush privileges;

 

3.5測試STDOUT:

bin/maxwell --user='maxwell' \

--password='123456' --host='127.0.0.1' \

--producer=stdout

 

 

測試：

Mysql插入數據：

insert into demo(id,name,age,address) values(999,'jepson',18,'www.ruozedata.com');

maxwel

監控到數據