Spark工作原理和RDD

Spark工作原理 第一步：Client將spark程序提交到Spark集羣節點1、2、3上。 第二步：每個節點從HDFS或者Hive中讀取相應的數據。 第三步：每個節點進行相應的迭代式計算。 第四步：把計算結果存儲到指定的文件系統中（HDFS、Hive、MySql等。 RDD及其特點 1.RDD是Spark提供的核心抽象，全稱爲Resillient Distributed Dataset，即彈性

>>阅读原文<<