SparkCore——彈性分佈式數據集(RDD)的特性 以及應注意的問題

RDD RDD(Resilient Distributed Dataset),彈性分佈式數據集。web RDD的五大特性: 1.RDD是由一系列的partition組成的。 2.函數是做用在每個partition(split)上的。 3.RDD之間有一系列的依賴關係。 4.分區器是做用在K,V格式的RDD上。 5.RDD提供一系列最佳的計算位置。分佈式 RDD理解圖: 注意: textFile方法
相關文章
相關標籤/搜索