spark優化要點(開發)

背景 爲何須要調優?? 程序都是能跑的,集羣仍是那個集羣,可是有可能另一個會調優的人和你寫的代碼的運行的速度要幾倍甚至幾十倍javascript 1.開發調優 1.1 原則一:避免建立重複的RDD 咱們有一份數據 ,student.txt 第一個需求 :wordCount val stuRDD = sc.textFile(「e://sparkData//student.txt」) 第二個需求:算有
相關文章
相關標籤/搜索