Spark 數據傾斜的整理

目錄: 1、 什麼是數據傾斜？？？？（基於Spark 架構） 2、何謂數據傾斜？？？？ 3、數據傾斜是如何造成的？？？？ 4、數據傾斜是如何解決的？？？？ 1.仔細查看定位導致數據傾斜的代碼。（數據傾斜只會發生在 shuffle 過程中） 2.某個 task 執行特別慢的情況 3.某個 task 莫名其妙內存溢出的情況 4.查看導致數據傾斜的 key 的數據分佈情況 5.自定義 Partition

>>阅读原文<<