Spark-core解讀

從三個部分來解讀Spark-core,首先是Spark的架構,闡述了Spark基於彈性分佈式數據集RDD這個計算模型的工做機制(計算流程):Application->Job->Stage->Task 的分解、分發和並行計算;接下去從計算模型和工做機制兩個方面,分別解讀RDD的設計思想及其算子,以及劃分RDD有向無環圖爲Stage和Task、並行計算的工做機制。進一步的原理分析和源碼研讀將在該系列的
相關文章
相關標籤/搜索