hive優化總結

優化時，把hive sql當作map reduce程序來讀，會有意想不到的驚喜。算法 理解hadoop的核心能力，是hive優化的根本。這是這一年來，項目組全部成員寶貴的經驗總結。sql   長期觀察hadoop處理數據的過程，有幾個顯著的特徵:cookie 1.不怕數據多，就怕數據傾斜。網絡 2．對jobs數比較多的做業運行效率相對比較低，好比即便有幾百行的表，若是屢次關聯屢次彙總，產生十幾個j

>>阅读原文<<