kafka + flume + hdfs + zookeeper + spark 測試環境搭建

最近因爲項目須要, 搭建了一個相似線上環境的處理流數據的環境 用的是CDH 版本5.9.x hdfs組成: 2 namenode HA, 6 datanode kafka: 3 臺kafka server zookeeper: 3臺 flume: 1臺 spark: 6臺 每臺32G內存 數據流程是有遠端終端向咱們數據處理服務器(Gengo)發送, 再由Gengo向kafka還有flume發送一樣
相關文章
相關標籤/搜索