Spark SQL:運行原理

Spark SQL的運行過程 SQL在Spark執行要經歷如下幾步：node 用戶提交SQL文本 解析器將SQL文本解析成邏輯計劃 分析器結合Catalog對邏輯計劃作進一步分析，驗證表是否存在，操做是否支持等 優化器對分析器分析的邏輯計劃作進一步優化，如將過濾邏輯下推到子查詢，查詢改寫，子查詢共用等 Planner再將優化後的邏輯計劃根據預先設定的映射邏輯轉換爲物理執行計劃 物理執行計劃作RDD

>>阅读原文<<