Kafka connect

      Kafka 做爲消息中間件，獲得愈來愈普遍的應用。Kafka connect 是一種可擴展、可信賴的工具， 用於Kafka 和其它應用系統之間的數據流動。數據源系統能夠經過 connect (source) 把消息放入到 kafka 的 topic 中，其它系統能夠經過 connect (sink) 從 kafka 中讀取。

 

 單機版connect 演示

  kafka 的包裏提供了一些示例。下面以文件 --> kafka --> 文件做爲示例。

1. 啓動 Connect Source 和 Connect Sink （kafka 的服務要事先啓動好）

$ bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties

    其中 config/connect-standalone.properties 中主要有以下配置：

• bootstrap.servers   這個配置的是 Kafka 服務器的地址列表。如：  host1:9092,host2:9092
• key.converter  配置一個 key 的轉換類，用於 source connector 寫入 kafka 的數據格式，或者 sink connector 從 kafka 讀取的數據格式
• value.converter  同 key.converter ，只不過這是做用於 value 的。
• offset.storage.file.filename  配置存儲偏移信息的文件

     converter 指定了放入 kafka 中的數據格式以及如何把它轉換成 Connect 的數據。

2. 啓動一個 Consumer，用於觀察 kafka topic 裏是否有消息

$ bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic connect-test --from-beginning

3. 往 text.txt 中寫入內容

$ echo 'firest line' >> test.txt

  能夠看到 2 中啓動的 consumer 收到了一條消息： 

 這條記錄也被寫到 test.sink.txt 文件中了