數據傾斜及解決辦法

一、什麼是數據傾斜 簡單來說數據傾斜就是數據的key 的分化嚴重不均，造成一部分數據很多，一部分數據很少的局面。對於集羣系統，一般緩存是分佈式的，即不同節點負責一定範圍的緩存數據。我們把緩存數據分散度不夠，導致大量的緩存數據集中到了一臺或者幾臺服務節點上，稱爲數據傾斜。一般來說數據傾斜是由於負載均衡實施的效果不好引起的。 舉例說明： 舉個 word count 的入門例子: 它的map 階段就是形

>>阅读原文<<