Spark 系列13—— Spark Streaming 與流處理

一、流處理 1.1 靜態數據處理 在流處理之前,數據通常存儲在數據庫,文件系統或其他形式的存儲系統中。應用程序根據需要查詢數據或計算數據。這就是傳統的靜態數據處理架構。Hadoop 採用 HDFS 進行數據存儲,採用 MapReduce 進行數據查詢或分析,這就是典型的靜態數據處理架構。 1.2 流處理 而流處理則是直接對運動中的數據的處理,在接收數據時直接計算數據。 大多數數據都是連續的流:傳感
相關文章
相關標籤/搜索