spark core 數據傾斜時如何處理

數據傾斜原理: 做join的時候 發現數據都跑到同一個節點上了,這個就是數據傾斜,通過spark的ui界面能發現有些任務shuffle的數據量特別大這時候就可以判定數據傾斜了   產生測數據 package com.spark.data   import java.io.{File, FileOutputStream, FileWriter} import java.util   import o

>>阅读原文<<