Spark調度管理

   速度通常是衡量大數據處理系統性能的一個重要指標。相對於傳統的大數據處理框架MapReduce,Spark的批處理速度比MapReduce快近10倍,內存中的數據分析速度則快近100倍。Spark在運行速度方面的突出表現一方面得益於基於內存的計算,另一方面得益於其優秀的調度管理策略。   在Spark的調度管理系統中,從底層物理資源調度到上層應用,涉及衆多概念和相關模塊,其中作業調度管理是核心
相關文章
相關標籤/搜索