Spark源碼分析筆記(二)Spark設計理念與基本架構

一. hadoop1.0 hadoop2.0 Spark對比 hadoop1.0貢獻了三個部分: 運行時環境:任務管理者jobTracker ,任務的執行者taskTracker 編程模型:MapReduce,開發者完成Map函數和Reduce函數 數據處理引擎:Map任務,數據的過濾分類;Reduce任務,數據的匯聚 但是也有很多不足: 可擴展性差:jobTracker既負責資源管理又負責任務調
相關文章
相關標籤/搜索