爲何會產生RDD及其做用

1爲何會產生RDD (1) 傳統的MapReduce雖然具備自動容錯、平衡負載和可拓展性的優勢,可是其最大缺點是採用非循環式的數據流模型,使得在迭代計算式要進行大量的磁盤IO操做。RDD正是解決這一缺點的抽象方法。 (2) RDD是Spark提供的最重要的抽象的概念,它是一種有容錯機制的特殊集合,能夠分佈在集羣的節點上,以函數式編操做集合的方式,進行各類並行操做。能夠將RDD理解爲一個具備容錯機制
相關文章
相關標籤/搜索