數據傾斜面試題知識點總結

公司一：總用戶量1000萬，5臺64G內存的服務器。 公司二：總用戶量10億，1000臺64G內存的服務器。 1.公司一的數據分析師在做join的時候發生了數據傾斜，會導致有幾百萬用戶的相關數據集中到了一臺服務器上，幾百萬的用戶數據，說大也不大，正常字段量的數據的話64G還是能輕鬆處理掉的。 2.公司二的數據分析師在做join的時候也發生了數據傾斜，可能會有1個億的用戶相關數據集中到了一臺機器上了

>>阅读原文<<