RDD

RDD介紹 RDD概念 一個RDD就是一個分佈式對象集合,本質上是一個只讀的分區記錄集合,每一個RDD能夠分紅多個分區,每一個分區就是一個數據集片斷,而且一個RDD的不一樣分區能夠被保存到集羣中不一樣的節點上,從而能夠在集羣中的不一樣節點上進行並行計算。RDD提供了一種高度受限的共享內存模型,即RDD是隻讀的記錄分區的集合,不能直接修改,只能基於穩定的物理存儲中的數據集來建立RDD,或者經過在其餘
相關文章
相關標籤/搜索