建立RDD和RDD的持久化

建立RDD的方式 第一種:經過並行化的方式建立RDDweb val arr = Array(1,2,3,4,5,6,7) val rdd = sc.paralleize(arr,4) //並行化程度是4 //默認是根據集羣的狀況來設置分區,建議一個cpu分2-4個partition 第二種方式:使用本地文件或者HDFS建立RDD textfile來讀取文件建立RDD,默認狀況下每個Block建立一
相關文章
相關標籤/搜索