hive的分桶

一.總結   分桶是相對分區進行更細粒度的劃分。分桶將整個數據內容安裝某列屬性值得hash值進行區分,如要安裝name屬性分爲3個桶,就是對name屬性值的hash值對3取摸,按照取模結果對數據分桶。如取模結果爲0的數據記錄存放到一個文件,取模爲1的數據存放到一個文件,取模爲2的數據存放到一個文件。幾個桶就是幾個文件. 二.用途   在分區數量過於龐大,就會有海量的目錄建立,以至於可能導致文件系統
相關文章
相關標籤/搜索