小白學習Spark原理

Spark是UC Berkeley AMP lab所開發相似於Hadoop MapReduce的通用並行計算框架,Spark是基於map reduce算法實現分佈式計算,擁有Hadoop MapReduce所具備的優勢;但不一樣於MapReduce的是Job中間輸出的結果能夠保存在內存中,從而再也不須要讀寫HDFS,所以Spark能更好地適用於數據挖掘與機器學習等須要迭代的map reduce算法
相關文章
相關標籤/搜索