Spark存儲與讀取文件方法小結

一：Spark中經常面臨這RDD的存儲問題，記錄一下經常面臨的幾種狀況。saveAsObjectFile, SequenceFile, mapFile, textFile我就不說了。 首先：在寫文件的時候，常常輸出的目錄以及存在，須要一個刪掉目錄以及存在的狀況。大體功能以下java def checkDirExist(sc:SparkContext,outpath:String) = {

>>阅读原文<<