spark中的SparkContext實例的textFile使用的小技巧

網上不少例子,包括官網的例子,都是用textFile來加載一個文件建立RDD,相似sc.textFile("hdfs://n1:8020/user/hdfs/input")數據結構 textFile的參數是一個path,這個path能夠是:spa 1. 一個文件路徑,這時候只裝載指定的文件input 2. 一個目錄路徑,這時候只裝載指定目錄下面的全部文件(不包括子目錄下面的文件)技巧 3. 經過通
相關文章
相關標籤/搜索