Catalyst揭祕 Day6 Physical plan解析
Catalyst揭祕 Day6
Physical plan解析
物理計劃是Spark和Sparksql相對比而言的，由於SparkSql是在Spark core上的一個抽象，物理化就是變成RDD，是SparkSql和Spark core之間的銜接點。sql
Physical Plan也是Catalyst變成Spark做業的最後一個階段。大數據
生成SparkPlan
從代碼，咱們能夠看到SparkPlan的生成包含了兩個步驟，首先會調用SparkPlanner的plan方法，生成SparkPlan，調用prepareForExecution的execute方法，再進行一次加工。
ui
SparkPlanner繼承自SparkStrategies，strategies是精髓。spa
其執行在下面的plan方法，全部的strategies應用在plan上獲得的physicalPlan，這個方法返回一個Iterator。繼承
修正SparkPlan
而在prepareForExecution中，咱們看到只是定了兩個規則，主要是執行計劃進行修正。
其中EnsureRequirements主要針對shuffle操做，確保先後的plan分區數兼容。ip
執行SparkPlan
這些操做都是邏輯級別的，sparkplan最終都是調用execute方法生成RDD。rem
欲知後事如何，且聽下回分解!
DT大數據天天晚上20：00YY頻道現場授課頻道68917580spark
相關文章
- 1. Spark SQL Catalyst源碼分析之Physical Plan
- 2. Catalyst揭祕 Day5 optimizer解析
- 3. Catalyst揭祕 Day8 Final
- 4. 50：Spark中的新解析引擎Catalyst源碼Physical Plan完全詳解
- 5. Catalyst揭祕 Day7 SQL轉爲RDD的具體實現
- 6. Pig系統分析(5)-從Logical Plan到Physical Plan
- 7. Spark SQL 源碼分析之Physical Plan 到 RDD的具體實現
- 8. SparkSQL之catalyst
- 9. SparkSQL – Catalyst
- 10. 解決方法：FAILED: ODPS-0130071:[0,0] Semantic analysis exception - physical plan generation failed: java.
- 更多相關文章...
- • XML DOM 解析器 - XML DOM 教程
- • TCP報文格式解析 - TCP/IP教程
- • 互聯網組織的未來：剖析GitHub員工的任性之源
- • Scala 中文亂碼解決
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
歡迎關注本站公眾號,獲取更多信息
相關文章
- 1. Spark SQL Catalyst源碼分析之Physical Plan
- 2. Catalyst揭祕 Day5 optimizer解析
- 3. Catalyst揭祕 Day8 Final
- 4. 50：Spark中的新解析引擎Catalyst源碼Physical Plan完全詳解
- 5. Catalyst揭祕 Day7 SQL轉爲RDD的具體實現
- 6. Pig系統分析(5)-從Logical Plan到Physical Plan
- 7. Spark SQL 源碼分析之Physical Plan 到 RDD的具體實現
- 8. SparkSQL之catalyst
- 9. SparkSQL – Catalyst
- 10. 解決方法：FAILED: ODPS-0130071:[0,0] Semantic analysis exception - physical plan generation failed: java.