採用工具:maxwell+Kafka+biremejava
maxwell:maxwell能實時解析MySQL的binlog,並輸出json格式的數據發送到Kafka(還支持其它的消息中間件),具體參見:maxwell官網mysql
Kafka: 一種消息中間件,在該方案中主要用於消息中轉,具體參見Kafka官網git
bireme:支持Greenplum的數據增量同步工具,在寫入Greenplum的過程當中,因爲採用Copy模式,因此性能較高,具體參見bireme官網github
大體原理就是:利用maxwell把mysql binlog解析成json,而後用kafka建立topic,而後用bireme消費,從而達到增量,增量的前提是先把數據全量同步一次,而後再增量。sql
全量同步初始化我的推薦dbswitch工具做者項目地址,我的測試使用體驗最佳,能夠自動建立表結構,同步速度也很快。docker
操做步驟:apache
1.下載並搭建Kafka服務json
2.下載並搭建maxwell服務,修改配置使其可以鏈接MySQL並能向kafka寫入數據bootstrap
3.下載並搭建bireme服務,修改配置使其能讀取kafka的數據並能向Greenplum寫入數據bash
kafka:
(1)下載安裝:
wget http://mirrors.hust.edu.cn/apache/kafka/2.5.0/kafka_2.12-2.5.0.tgz tar -xzf kafka_2.12-2.5.0.tgz -C /usr/local
(2)配置server.properties,個人簡單配置以下:
[root@szwpldb1080 config]# cat server.properties |grep -vE '^#|^$' broker.id=0 num.network.threads=3 num.io.threads=8 socket.send.buffer.bytes=102400 socket.receive.buffer.bytes=102400 socket.request.max.bytes=104857600 log.dirs=/tmp/kafka-logs num.partitions=1 num.recovery.threads.per.data.dir=1 offsets.topic.replication.factor=1 transaction.state.log.replication.factor=1 transaction.state.log.min.isr=1 log.retention.hours=16 log.cleanup.policy=delete log.segment.bytes=1073741824 log.retention.check.interval.ms=3000 delete.topic.enable = true zookeeper.connect=localhost:2181 zookeeper.connection.timeout.ms=6000 delete.topic.enable=true group.initial.rebalance.delay.ms=0 advertised.host.name=172.18.1.150
(3)製做kafka啓停腳本(提早安裝好java):
#!/usr/bin/env bash # chkconfig: 2345 20 80 #description: start and stop server ZOOP_HOME=/usr/local/kafka_2.12-2.5.0/bin JAVA_HOME=/usr/java/jdk1.8.0_221/ PATH=$JAVA_HOME/bin:$PATH CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
SVR_NAME=kafka case $1 in start) echo "starting $ZOOP_HOME/$SVR_NAME ..." $ZOOP_HOME/kafka-server-start.sh /usr/local/kafka_2.12-2.5.0/config/server.properties > /tmp/kafka.logs.out& ;; stop) echo "stopping $PRO_HOME/$SVR_NAME ..." ps -ef|grep *.$SVR_NAME* |grep -v grep |awk '{print $2}' | sed -e "s/^/kill -9 /g" | sh - ;; restart) "$0" stop sleep 3 "$0" start ;; status) ps -ef|grep *.$SVR_NAME* ;; logs) tail -f /tmp/zookeeper.logs.out ;; *) echo "Example: server-$SVR_NAME [start|stop|restart|status|logs]" ;; esac
添加到 /etc/rc.d/init.d ,而後就能夠直接service kafka xxx來管理,或者添加到systemd下面,確保服務正常啓動安裝zookerper,而後啓動kafka。
個人zookeeper簡單配置以下:
[root@szwpldb1080 config]# cat zookeeper.properties |grep -Ev '^$|^#' dataDir=/tmp/zookeeper clientPort=2181 maxClientCnxns=0
zookeeper啓停腳本
#!/usr/bin/env bash # chkconfig: 2345 20 80 #description: start and stop server ZOOP_HOME=/usr/local/kafka_2.12-2.5.0/bin JAVA_HOME=/usr/java/jdk1.8.0_221/ PATH=$JAVA_HOME/bin:$PATH CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar SVR_NAME=zookeeper case $1 in start) echo "starting $ZOOP_HOME/$SVR_NAME ..." $ZOOP_HOME/zookeeper-server-start.sh /usr/local/kafka_2.12-2.5.0/config/zookeeper.properties > /tmp/zookeeper.logs.out& ;; stop) echo "stopping $PRO_HOME/$SVR_NAME ..." ps -ef|grep *.$SVR_NAME* |grep -v grep |awk '{print $2}' | sed -e "s/^/kill -9 /g" | sh - ;; restart) "$0" stop sleep 3 "$0" start ;; status) ps -ef|grep *.$SVR_NAME* ;; logs) tail -f /tmp/zookeeper.logs.out ;; *) echo "Example: server-$SVR_NAME [start|stop|restart|status|logs]" ;; esac
(4)檢查狀態:
[root@szwpldb1080 config]# jps 1762 Kafka 18521 QuorumPeerMain 30383 Jps
maxwell:
(1)docker鏡像下載
docker pull zendesk/maxwell
(2)在源端mysql建好用戶設置好權限,測試maxwell:
docker run -ti --rm zendesk/maxwell bin/maxwell --user='xxxx' --password='xxxx' --host='x.x.x.x' --producer=stdout
看到日誌輸出正常,能夠放後臺運行:
docker run -d --rm zendesk/maxwell bin/maxwell --user='xx' \ --password='xx' --host='x.x.x.x' --port=3306\ --producer=kafka --kafka.bootstrap.servers='x.x.x.x:9092'\ --kafka_topic=syncdb --log_level=debug --output_ddl
而後建立kafka topic:
bin/kafka-topics.sh --create --topic syncdb --zookeeper localhost:2181 --partitions 1 --replication-factor 2
topic名字與maxwell建立的topic一致,而且因爲maxwell能夠解析全部binlog,可是bireme工具只能同步dml,所以沒有加 --output_ddl
具體maxwell參數用法能夠參考: maxwell配置
檢查kafka消費狀況:
[root@szwpldb1080 bin]# ./kafka-topics.sh --zookeeper localhost:2181 --describe --topic syncdb Topic:syncdb PartitionCount:1 ReplicationFactor:1 Configs: Topic: syncdb Partition: 0 Leader: 0 Replicas: 0 Isr: 0 [root@szwpldb1080 bin]#./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic syncdb --from-beginning
看到kafka能接收maxwell產生的json文件,表示沒問題。
bireme
安裝配置都很簡單,此處略過。
主要是修改如下2個配置文件。
config.properties
maxwell1.properties
而後監控 http://x.x.x.x:8080或者監控bireme日誌就能夠了。
總結:
只能同步DML語句,沒法處理DDL,對比幾款開源的工具已經同步方式,我以爲我這種是最舒服的。