(十六)Hive 優化策略

正文node   1、Hadoop 框架計算特性 一、數據量大不是問題,數據傾斜是個問題算法 二、jobs 數比較多的做業運行效率相對比較低,好比即便有幾百行的表,若是屢次關聯屢次 彙總,產生十幾個 jobs,耗時很長。緣由是 map reduce 做業初始化的時間是比較長的sql 三、sum,count,max,min 等 UDAF,不怕數據傾斜問題,hadoop 在 map 端的彙總合併優化,
相關文章
相關標籤/搜索