spark計算框架

首先明確一點：學計算框架主要就是學2部分：1.資源調度 2.任務調度 寫一個spark程序包含加載配置文件，建立上下文，建立RDD , 調用RDD的算子，用戶在算子中自定義的函數 map端：狹窄的理解是MapReduce中的map端，本質就是將數據變成你想要的形式，例如：按照空格切分，乘2等等操做。 shuffle : 分爲shuffle write（臨時存到本地磁盤）和shuffle read（

>>阅读原文<<