大數據之Spark

背景： 由於MapReduce框架僅支持map和reduce兩種操作，且迭代計算效率低，不適合交互式處理（數據挖掘），流式處理，不支持函數式編程語言（scala）。之前各種技術框架如，批處理的：HIVE，PIG，Mapreduce。流計算的storm，交互式計算的Impala，而spark是在此基礎上的集大成者！統一了框架！ 特點： 高效：基於內存的計算框架，比Mapreduce快10-100倍。

>>阅读原文<<