spark-sql架構與原理

一. 總體架構 總結爲以下圖:前端   Dataframe本質是  數據  +  數據的描述信息(結構元信息)java 全部的上述SQL及dataframe操做最終都經過Catalyst翻譯成spark程序RDD操做代碼node   sparkSQL前身是shark,大量依賴Hive項目的jar包與功能,但在上面的擴展愈來愈難,所以出現了SparkSQL,它重寫了分析器,執行器   脫離了對Hiv
相關文章
相關標籤/搜索