SparkSQL - DataFrame介紹

SparkSQL 體系結構 SparkSQL體系結構如下圖所示，整體由上到下分爲三層：編程模型層、執行任務優化層以及任務執行引擎層。 SparkSQL編程模型可以分爲SQL和DataFrame兩種。 執行計劃優化又稱爲Catalyst，該模塊負責將SQL語句解析成AST（邏輯執行計劃），並對原始邏輯執行計劃進行優化，優化規則分爲基於規則的優化策略和基於代價的優化策略兩種，最終輸出優化後的物理執行計

>>阅读原文<<