canal 1.0.25 快速啓動配置

標題文字 ##Canal的組成部分

簡單來講，Canal 會將本身假裝成 MySQL 從節點（Slave），並從主節點（Master）獲取 Binlog，解析和貯存後供下游消費端使用。
Canal 包含兩個組成部分：服務端和客戶端。服務端負責鏈接至不一樣的 MySQL 實例，併爲每一個實例維護一個事件消息隊列；客戶端則能夠訂閱這些隊列中的數據變動事件，處理並存儲到數據倉庫中。

如何快速搭建

1.配置 MySQL 主節點
安裝mysql : https://segmentfault.com/a/11...
MySQL 默認沒有開啓 Binlog，所以咱們須要對 my.cnf 文件作如下修改：

[root@canal /]# vi etc/my.cnf

[mysqld]
log-bin=mysql-bin #添加這一行就ok
binlog-format=ROW #選擇row模式
server_id=1 #配置mysql replaction須要定義，不能和canal的slaveId重複

2.mysql slave 相關權限
canal的原理是模擬本身爲mysql slave，因此這裏必定須要作爲mysql slave的相關權限.

# 建立用戶
mysql> CREATE USER 'canal'@'localhost' IDENTIFIED BY 'canal';
# 受權
mysql> GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
# 查看用戶權限
mysql> show grants canal

3.啓動步驟：下載canal

[root@murasakiseifu ~]# wget https://github.com/alibaba/canal/releases/download/canal-1.0.25/canal.deployer-1.0.25.tar.gz

4.啓動步驟：解壓縮

[root@murasakiseifu ~]# mkdir /tmp/canal
[root@murasakiseifu ~]# tar zxvf canal.deployer-$version.tar.gz  -C /tmp/canal

解壓完成後，進入/tmp/canal目錄，能夠看到以下結構：

drwxr-xr-x   6 murasakiseifu  staff   204B  1 15 11:42 bin
-rw-r--r--@  1 murasakiseifu  staff    20M  1 10 10:30 canal.deployer-1.0.25.tar.gz
drwxr-xr-x   6 murasakiseifu  staff   204B  1 15 11:29 conf
drwxr-xr-x  50 murasakiseifu  staff   1.7K  1 15 11:29 lib
drwxr-xr-x@  4 murasakiseifu  staff   136B  1 15 11:33 logs

5.啓動步驟：配置修改
canal有兩個配置文件，一個是canal.properties,這個是系統根配置文件。一個是example實例下的instance.properties,這個是instance級別的配置文件，每一個instance一份。
咱們先配置一下 canal.properties：

[root@murasakiseifu ~]# cat canal/conf/canal.properties
#################################################
#########         common argument        #############
#################################################
canal.id= 1
# 系統根配置文件調用實例配置文件，而實例配置文件調用數據庫信息，因此canal.ip爲本地的ip地址，
端口號本身設置便可，消費者與canal鏈接也是經過這個ip和端口。
canal.ip= 172.16.42.107
canal.port= 11111
.
. # 中間省略 #
.
#################################################
#########         destinations        #############
#################################################
# 此模塊爲一個實例模塊，canal支持一對多，因此這個實例的名稱爲：example #
canal.destinations= example
# conf root dir
.
. # 下部省略 #
.

接下來配置 instance.properties。在配置canal以前，咱們先鏈接mysql，查看master status

mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000021 |     4241 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

咱們能夠看到File：mysql-bin.000021 Position：4241 記住這兩個值
配置instance.properties：

# binlog format/image check
  1 #################################################
  2 ## mysql serverId
  3 canal.instance.mysql.slaveId=234 # 不能與mysql配置文件中的slaveId重複
  4 # position info
  5 canal.instance.master.address=192.168.187.130:3306 # 爲數據庫地址 個人數據庫在虛擬機中
  6 canal.instance.master.journal.name=mysql-bin.000021 # 填入咱們剛纔查看的master status
  7 canal.instance.master.position=4241
  8 canal.instance.master.timestamp=
  9
 10
 11 # table meta tsdb info
 12 canal.instance.tsdb.enable=false # 爲1.0.25的新功能 不是太瞭解 由於咱們是快速配置 先關閉
 13 canal.instance.tsdb.dir=${canal.file.data.dir:../conf}/${canal.instance.destination:}
 14 canal.instance.tsdb.url=jdbc:h2:${canal.instance.tsdb.dir}/h2;CACHE_SIZE=1000;MODE=MYSQL;
 15 #canal.instance.tsdb.url=jdbc:mysql://127.0.0.1:3306/canal_tsdb # 用不到一下三個配置 都註釋掉
 16 #canal.instance.tsdb.dbUsername=canal
 17 #canal.instance.tsdb.dbPassword=canal
 18
 19
 20 #canal.instance.standby.address =
 21 #canal.instance.standby.journal.name =
 22 #canal.instance.standby.position =
 23 #canal.instance.standby.timestamp =
 24 # username/password
 25 canal.instance.dbUsername=canal # 本身數據庫的信息 使用咱們剛開權限的用戶 canal
 26 canal.instance.dbPassword=canal # 本身數據庫的信息
 27 canal.instance.defaultDatabaseName=mytest # 本身數據庫的信息
 28 canal.instance.connectionCharset=UTF-8 # 本身數據庫的信息
 29 # table regex
 30 canal.instance.filter.regex=.*\\..*

6.啓動配置

[root@murasakiseifu ~]# sh bin/startup.sh
.
.# 中間省略 #
.
cd to /Users/murasakiseifu/canal-fzz/bin for continue

7.查看日誌

root@murasakiseifu ~]# tail -100f /logs/example/example.log
2018-01-16 16:50:45.636 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [canal.properties]
2018-01-16 16:50:45.641 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [example/instance.properties]
2018-01-16 16:50:45.803 [main] INFO  c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start CannalInstance for 1-example 
2018-01-16 16:50:45.810 [main] INFO  c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start successful....

8.關閉配置

[root@murasakiseifu ~]# sh bin/stop.sh

9.編寫 Canal 客戶端

下載：https://github.com/alibaba/canal/tree/v1.0.25
打開項目，啓動 example，更改表中更信息了。

參考文獻：
https://github.com/alibaba/ca...
https://www.waitig.com/canal%...
https://zhidao.baidu.com/ques...
http://blog.csdn.net/my201110...
https://www.jianshu.com/p/629...

著做權歸做者全部。商業轉載請聯繫做者得到受權，非商業轉載請註明出處。