sparkR操做HDFS上面的CSV文件

時間 2019-12-13

標籤 sparkr hdfs 上面 csv 文件欄目 Hadoop 简体版

原文原文鏈接

./bin/sparkR --packages com.databricks:spark-csv_2.10:1.3.0 --master yarnsql

hdfs://master:9000/tmp/demo.cvs 替換你的hdfs路徑
>sc = sparkR.init(master = "yarn″, appName="SparkR")
>sqlContext = sparkRSQL.init(sc)
>demo = read.df(sqlContext,'hdfs://master:9000/tmp/demo.cvs',source ='com.databricks.spark.csv')
>head(demo)app