Hive on Spark調優

之前在Hive on Spark跑TPCx-BB測試時,100g的數據量要跑十幾個小時,一看CPU和內存的監控,發現 POWER_TEST階段(依次執行30個查詢)CPU只用了百分之十幾,也就是沒有把整個集羣的性能利用起來,導致跑得很慢。因此,如何調整參數,使整個集羣發揮最大性能顯得尤爲重要。 Spark作業運行原理 spark-base-mech.jpg 詳細原理見上圖。我們使用spark-su
相關文章
相關標籤/搜索