Spark中加載本地(或者hdfs)文件以及SparkContext實例的textFile使用

2015-04-26 13:57   默認是從hdfs讀取文件,也能夠指定sc.textFile("路徑").在路徑前面加上hdfs://表示從hdfs文件系統上讀   本地文件讀取 sc.textFile("路徑").在路徑前面加上file:// 表示從本地文件系統讀,如file:///home/user/spark/README.md ‍ 網上不少例子,包括官網的例子,都是用textFile來
相關文章
相關標籤/搜索