hive 一些優化

環境 hive1.2.1 + hadoop2.6.0 一.mapjoin優化   原理:對於join操做,內鏈接中有一個表是小表,或者左鏈接時左表爲小表時,自動將MR做業轉化爲Map,即在map端進行數據join操做,而不是reduce端。在執行任務的本地,將小錶轉換爲hashtable,而後上傳到集羣中,以後的每一個map中都有全量的小表來直接進行join操做,從而跳過了shuffle階段,這種
相關文章
相關標籤/搜索