Spark基礎入門(一)--------RDD基礎

(一)、RDD定義 不可變  分佈式對象集合java 好比下圖是RDD1的數據,它的Redcord是數字,分佈在三個節點上,而且其內容不可變node   建立RDD有兩種方式:shell 1) Driver中分發(parallelize方法)數據庫 經過parallelize方法,將驅動程序(Driver)裏的集合(複製過去)建立爲分佈式數據集(分區數默認和執行資源核數保持一致)緩存 List<I
相關文章
相關標籤/搜索