spark及HADOOP相關內容

spark框架機制和流程 一．Spark框架 二．Spark基於內存運算框架 三．Spark組件 四．Spark工作機制 和MapReduce相比有兩個優點 1、利用多線程來執行具體任務，減少任務的啓動開銷。 2、同時利用內存和磁盤作爲共同的存儲設備，有限的減少IO開銷。 一、Spark on Standalone(任務提交執行流程) 1.spark集羣啓動後，Worker向Master註冊信息

>>阅读原文<<