springboot整合kafka

kafka是什麼?

Kafka是由Apache軟件基金會開發的一個開源流處理平臺,由Scala和Java編寫。Kafka是一種高吞吐量的分佈式發佈訂閱消息系統,它能夠處理消費者在網站中的全部動做流數據。 這種動做(網頁瀏覽,搜索和其餘用戶的行動)是在現代網絡上的許多社會功能的一個關鍵因素。 這些數據一般是因爲吞吐量的要求而經過處理日誌和日誌聚合來解決。 對於像Hadoop同樣的日誌數據和離線分析系統,但又要求實時處理的限制,這是一個可行的解決方案。Kafka的目的是經過Hadoop的並行加載機制來統一線上和離線的消息處理,也是爲了經過集羣來提供實時的消息。linux

應用場景

  • 消息系統: Kafka 和傳統的消息系統(也稱做消息中間件)都具有系統解耦、冗餘存儲、流量削峯、緩衝、異步通訊、擴展性、可恢復性等功能。與此同時,Kafka 還提供了大多數消息系統難以實現的消息順序性保障及回溯消費的功能。
  • 存儲系統: Kafka 把消息持久化到磁盤,相比於其餘基於內存存儲的系統而言,有效地下降了數據丟失的風險。也正是得益於 Kafka 的消息持久化功能和多副本機制,咱們能夠把 Kafka 做爲長期的數據存儲系統來使用,只須要把對應的數據保留策略設置爲「永久」或啓用主題的日誌壓縮功能便可。
  • 流式處理平臺: Kafka 不只爲每一個流行的流式處理框架提供了可靠的數據來源,還提供了一個完整的流式處理類庫,好比窗口、鏈接、變換和聚合等各種操做。

springboot集成kafka

1.確保有一臺虛擬機,而且虛擬機有zookeeper註冊中心。如未安裝,可參考

2.下載kafka,本文是linux操做系統安裝kafka

本文安裝kafka是基於linux操做系統,windows系統,可參考資料自行操做。
官網下載地址:http://kafka.apache.org/downl...
spring

3.解壓

下載完成以後,會發現有一個tar文件,執行命令,進行解壓。apache

tar -zxvf kafka_2.12-2.1.0.tgz

未完待續。。。windows

相關文章
相關標籤/搜索