大數據平臺架構的組成

01、大數據平臺 是指以處理海量數據存儲、計算及不間斷流數據實時計算等場景爲主的一套基礎設施。典型的包括Hadoop系列、Spark、Storm、Flink以及Flume/Kafka等集羣。 02 典型大數據平臺架構 由上到下,可分爲三個部分:數據蒐集、數據處理、數據輸出與展示。 (1)、數據採集 將應用程序發作的數據和日誌等同步到大數據系統中,由於數據源不同,這裏的數據同步系統實際上是多個相關係
相關文章
相關標籤/搜索