Spark RDD緩存方式

RDD經過persist方法或cache方法能夠將前面的計算結果緩存,可是並非這兩個方法被調用時當即緩存,而是觸發後面的action時,該RDD將會被緩存在計算節點的內存中,並供後面重用。web System.setProperty("hadoop.home.dir", "G:\\hadoop-common-2.2.0-bin") val conf = new SparkConf().se
相關文章
相關標籤/搜索