SPARK命令行讀取parquet數據

1,進入spark shellsql

./spark-shellshell

2,執行如下操做讀取parquet文件apache

val sqlContext = new org.apache.spark.sql.SQLContext(sc)spa

val parquetFile = sqlContext.parquetFile("/home/neunntest/hdfs/dataSet/2018-1-2/iris20180102_1514855343/*.parquet")spark

3,打印具體內容test

parquetFile.take(150).foreach(println)foreach

相關文章
相關標籤/搜索