RDD數據源

1、普通文本文件 sc.textFile("./dir/*.txt") 如果傳遞目錄，則將目錄下的所有文件讀取作爲RDD。文件路徑支持通配符。 但是這樣對於大量的小文件讀取效率並不高，應該使用wholeTextFiles def wholeTextFiles(path: String, minPartitions: Int = defaultMinPartitions): RDD[(String,

>>阅读原文<<