spark-sql架構與原理

一. 總體架構 總結爲以下圖：前端   Dataframe本質是  數據  +  數據的描述信息（結構元信息）java 全部的上述SQL及dataframe操做最終都經過Catalyst翻譯成spark程序RDD操做代碼node   sparkSQL前身是shark，大量依賴Hive項目的jar包與功能，但在上面的擴展愈來愈難，所以出現了SparkSQL，它重寫了分析器，執行器   脫離了對Hiv

>>阅读原文<<