SparkStreaming部分:kafka的總結【文字說明+圖片展示+各種命令】

Kafka的架構:分佈式消息系統,默認將消息存入磁盤,存儲時間是7天。 Producer:消息的生產者,自己決定消息寫往哪個partition,兩種:1.hash,2.輪詢 Broker:組建kafka集羣的節點,broker之間沒有主從關係,broker由zookeeper來協調,broker負責消息的讀寫,存儲。每個broker可以管理多個partition。 Topic:一類消息的總稱/消息
相關文章
相關標籤/搜索