大數據筆試真題集錦---第二章:Spark面試題

我會不間斷的更新,維護,但願能夠對正在找大數據工做的朋友們有所幫助. 第二章目錄 第二章 Spark 2.1 Spark 原理 2.1.1 Shuffle 原理     2.1.1.1 SortShuffle mapTask將map（聚合算子）或array（join算子）寫入內存 達到閥值發生溢寫，溢寫前根據key排序，分批寫入磁盤，最終將全部臨時文件合併成一個最終文件，並創建一份索引記錄分區信息

>>阅读原文<<