Spark計算流程分析(map-reduce)過程

    本文只是結合源碼對spark的map和reduce過程做簡單的總結，不是特別深入。主要是《深入理解Spark__核心思想與源碼分析》一書中的內容和自己的一些理解。 1.Shuffle     不管是hadoop的MapReduce還是spark的map-reduce過程，核心過程都叫做shuffle，MapReduce的shuffle過程，要對每個分區的數據進行排序，然後merge，完成後

>>阅读原文<<