實時分析、離線線分析、流式計算的區別

離線計算: 批量獲取數據、批量傳輸數據、週期性批量計算數據、數據展現mysql

表明技術:Sqoop批量導入數據、HDFS批量存儲數據、MapReduce批量計算數據、Hive批量計算數據、***任務調度sql

 

實時計算,強調的是實時,數據實時計算、結果實時展現緩存

 

流式計算:數據實時產生、數據實時傳輸、數據實時計算、實時展現 表明技術:Flume實時獲取數據、Kafka/metaq實時數據存儲、Storm/JStorm實時數據計算、Redis實時結果緩存、持久化存儲(mysql)。 一句話總結:將源源不斷產生的數據實時收集並實時計算,儘量快的獲得計算結果,用來支持決策。oop

相關文章
相關標籤/搜索