SPARK命令行讀取parquet數據

1，進入spark shell

./spark-shell

2，執行如下操做讀取parquet文件

val sqlContext = new org.apache.spark.sql.SQLContext(sc)

val parquetFile = sqlContext.parquetFile("/home/neunntest/hdfs/dataSet/2018-1-2/iris20180102_1514855343/*.parquet")

3，打印具體內容

parquetFile.take(150).foreach(println)