spark基礎知識三

主要圍繞spark的底層核心抽象RDD和原理進行理解。主要包括以下幾個方面 RDD彈性分佈式數據集的依賴關係 RDD彈性分佈式數據集的lineage血統機制 RDD彈性分佈式數據集的緩存機制 spark任務的DAG有向無環圖的構建 spark任務如何劃分stage spark任務的提交和調度流程 1. RDD的依賴關係 RDD和它依賴的父RDD的關係有兩種不同的類型 窄依賴(narrow depe
相關文章
相關標籤/搜索