使用logstash同步mysql數據庫信息到ElasticSearch

本文介紹如何使用logstash同步mysql數據庫信息到ElasticSearch.

1.準備工做

1.1 安裝JDK

網上文章比較多，能夠參考：www.dalaoyang.cn/article/16。

1.2 安裝Logstash

我使用了5.x版本和6.x版本，能夠參考：www.dalaoyang.cn/article/80。

7.x版本何嘗試！！！

1.3 安裝ruby

安裝過程能夠參考：blog.csdn.net/qq_26440803…，已經很是詳細了。

1.4 安裝gem

安裝

yum install gem
複製代碼

gem源修改

gem sources --add https://gems.ruby-china.com/ --remove https://rubygems.org/
複製代碼

1.5 修改logstash中的Gemfile和Gemfile.jruby-1.9.lock文件

修改上圖中Gemfile文件紅框位置爲

source "https://gems.ruby-china.com/"
複製代碼

修改上圖中Gemfile.jruby-1.9.lock文件(其餘版本logstash可能不叫這個名字，可是名字相似)紅框位置爲

remote: https://gems.ruby-china.com/
複製代碼

1.6 安裝bundler

安裝

gem install bundler
複製代碼

1.7 安裝logstash-input-jdbc插件

安裝

bin/logstash-plugin  install logstash-input-jdbc
複製代碼

1.8 準備mysql-connector-java-x.x.x.jar

須要準備一個mysql-connector-java-x.x.x.jar對應版本的jar，這裏使用的是mysql-connector-java-5.1.6.jar。

這個能夠去官網下載：dev.mysql.com/downloads/c…

2.配置logstash

建立mysql-es.conf配置文件，名稱能夠自定，這裏數據表以我博客友情連接表爲例，內容以下：

input {
  jdbc {
    # 驅動包位置
    jdbc_driver_library => "/usr/local/logstash/logstash-5.6.16/mysql-connector-java-5.1.6.jar"
    # 驅動
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    # 數據庫地址
    jdbc_connection_string => "jdbc:mysql://ip:3306/dalaoyang"
    # 數據庫鏈接用戶名
    jdbc_user => "root"
    # 數據庫鏈接用戶密碼
    jdbc_password => "password"
    # 執行sql語句文件位置
    # statement_filepath => "filename.sql"
    # 執行sql
    statement => "SELECT * from link_info"
    # 是否分頁
    jdbc_paging_enabled => "true"
    # 分頁數量
    jdbc_page_size => "50000"
    type => "jdbc"
    tracking_column => "update_date"
    use_column_value => false
    # 執行任務時間間隔，各字段含義（由左至右）分、時、天、月、年，所有爲*默認含義爲每分鐘都更新
    schedule => "* * * * *"
  }
}
 
 
output {
  elasticsearch {
        hosts => "ip:端口"
        index => "test-mysql"
        # 數據庫中的id
        document_id => "%{link_id}"
  }
}
複製代碼

3.啓動logstash

執行命令啓動

bin/logstash  -f mysql-es.conf
複製代碼

啓動後能夠看到如圖所示

4.查看ElasticSearch

在ElasticSearch-head中能夠看到對應mysql中的數據，如圖

5.總結

總的來講過程仍是很簡單的，沒有遇到太大的問題，這只是mysql同步es的一種方式，還有不少方式能夠使用。