spark tranformation及action總結

Spark建立RDD分爲三種:從集合中建立RDD;從外部存儲建立RDD;從其餘RDD建立。shell RDD是Spark中的抽象數據結構類型,任何數據在Spark中都被表示爲RDD。從編程的角度來看,RDD能夠簡單當作是一個數組。和普通數組的區別是,RDD中的數據是分區存儲的,這樣不一樣分區的數據就能夠分佈在不一樣的機器上,同時能夠被並行處理。所以,Spark應用程序所作的無非是把須要處理的數據轉
相關文章
相關標籤/搜索