SparkSQL2.x 中的DataFrame和Dataset建立與使用

 SparkSQL 的概念 Spark SQL 是一個用來處理結構化數據的 spark 組件，也可被視爲一個分佈式的 SQL 查詢引擎。與基礎 的 Spark RDD API 不一樣, Spark SQL 提供了查詢結構化數據及計算結果等信息的接口。在內部, Spark  SQL 使用這個額外的信息去執行額外的優化.有幾種方式能夠跟 Spark SQL 進行交互, 包括 SQL 和  Datase

>>阅读原文<<