spark介紹

spark介紹 spark是由加州伯克利大學的AMP實驗室開發的一個通用的並行計算框架，2009年發佈，2010年開源，是一個針對大規模數據處理的通用的分析引擎。spark也是基於map&reduce算法實現的一個分佈式計算框架。 速度 從官網的介紹可以看出，spark的速度是mapreduce的100倍以上，即使是使用純磁盤存儲，速度也是mapreduce的10倍以上。 spark快的主要原因是

>>阅读原文<<