Spark SQL是處理結構化的數據

Spark SQL是處理結構化的數據，能夠存儲在二維表中，相似數據庫中的表同樣存儲數據

Spark1.x

      val sqlContext = new SparkContext(conf)

      val sqlContext = new SQLContext(sc)

     //將RDD和Schema信息關聯到一塊兒，1,RDD和case class 2,RDD和StructType

    //case class Person將RDD中的數據轉換成case class 屬性相對應的類型，而後設置到case class中

    val rdd:RDD[Person] = ....

    //將RDD轉換成DataFrame

    val df = rdd.toDF

    //對df進行操做（1,直接使用DataFrame上的算子DSL。2,寫SQL）

   //將df註冊成臨時表

   df.registerTempTable("t_person")

  //執行SQL

  val result :DataFrame = sqlContext.sql("select * from t_person");

   result.show()

 

Spark2.x

val spark = SparkSession.builder().appName("a").master("local[*]").getOrCreate()

//建立DF

val df = spark.createDataFrame(RDD[Row], schema)

//DSL 和 SQL

df.createTempView("v_user")

//執行SQL

val result:DataFrame = spark.sql("select * from t_user")

//執行action

result.show()

 

//