Spark學習筆記

Hadoop中MapReduce計算框架是基於磁盤的，每次計算結果都會直接存儲到磁盤，下一次計算又要從磁盤中讀取，於是IO消耗大，迭代計算效率很低，且模型單一，不能適應複雜需求。Spark是一種基於內存的開源計算框架，迭代計算效率很是高。另外，MapReduce的計算是一步一步來的，而Spark將整個計算過程繪製成 DAG(有向無環圖)，優化了計算路徑，這也是Spark計算速度較快的緣由之一。we

>>阅读原文<<