Spark系列--SparkCore(一)RDD簡介

前言 RDD是Spark的基石，是實現Spark數據處理的核心抽象。那麼RDD爲何會產生呢？web Hadoop的MapReduce是一種基於數據集的工做模式，面向數據，這種工做模式通常是從存儲上加載數據集，而後操做數據集，最後寫入物理存儲設備。數據更多面臨的是一次性處理。算法 MR的這種方式對數據領域兩種常見的操做不是很高效。第一種是迭代式的算法。好比機器學習中ALS、凸優化梯度降低等。這些都須

>>阅读原文<<