[spark 面試]數據傾斜

一.首先明白招聘中「擁有大型項目/海量數據處理經驗的意思」？     這個實質的意思不是你開發出大型項目和海量數據進行了處理的；它表達的意思是你是否有再大型項目/海量數據中的調優經驗，而這種調優經驗又必須再理解和閱讀大量源碼的基礎上才能實現的。所以這句話轉化的意思就是你是否有閱讀源碼和性能調優的經驗。 二.大數據中最關鍵的調優經驗是什麼？     數據傾斜，這是大數據處理專家的一個共識，因爲他是最

>>阅读原文<<