Spark的資源管理以及YARN-Cluster Vs YARN-Client

原文:http://blog.cloudera.com/blog/2014/05/apache-spark-resource-management-and-yarn-app-models/shell 對於Mapreduce來講,最高級別的計算單元是Job。系統加載數據,執行Map定義的處理邏輯,shuffle Map的輸出,再執行Reduce定義的處理邏輯,最後把reduce的結果寫回持久化的存儲
相關文章
相關標籤/搜索