數據傾斜及解決辦法

一、什麼是數據傾斜 簡單來說數據傾斜就是數據的key 的分化嚴重不均,造成一部分數據很多,一部分數據很少的局面。對於集羣系統,一般緩存是分佈式的,即不同節點負責一定範圍的緩存數據。我們把緩存數據分散度不夠,導致大量的緩存數據集中到了一臺或者幾臺服務節點上,稱爲數據傾斜。一般來說數據傾斜是由於負載均衡實施的效果不好引起的。 舉例說明: 舉個 word count 的入門例子: 它的map 階段就是形
相關文章
相關標籤/搜索