大數據技術之Flink電商用戶行爲分析系統（用戶畫像）

一、主流的批處理和流處理框架 Hadoop中的MapReduce只能做離線計算，也就是批處理，並且基於磁盤計算，屬於IO密集型，Shuffle階段需要大量算力，並且只有map和reduce。 Spark作爲一個微批處理的大數據計算框架，主要作用就是類似MapReduce，Spark Streaming可以實現傳統意義上的流式計算，但是正如開頭所說，屬於微批處理，並不是完全的實時，但是Spark基於

>>阅读原文<<