深度解析Spark

Spark是UC Berkeley AMP lab所開發類似於Hadoop MapReduce的通用並行計算框架,Spark是基於map reduce算法實現分佈式計算,擁有Hadoop MapReduce所具有的優點;但不同於MapReduce的是Job中間輸出的結果可以保存在內存中,從而不再需要讀寫HDFS,因此Spark能更好地適用於數據挖掘與機器學習等需要迭代的map reduce算法。
相關文章
相關標籤/搜索