Spark淺析之stage,寬窄依賴和shuffle的關係

新手上路,若有不對的地方,請多多指導spa   前言線程   stage做爲是Spark應用程序的調度任務劃分模塊,對它的理解有助你提升編寫Spark代碼的編寫,說到底想要玩好Spark,就要玩好RDD。ip   寬窄依賴內存   寬依賴:1.父類RDD的一個分區上的數據對應承接給同一個子類RDD的多個分區——即RDD是1對1,但分區是1對多。it              2.父類RDD的一個分
相關文章
相關標籤/搜索