調一調Hive on Spark參數,毫不誇張的說,使其性能達到最大化!

前言   Hive on Spark是指使用Spark替代傳統MapReduce作爲Hive的執行引擎,在HIVE-7292提出。Hive on Spark的效率比on MR要高不少,但是也需要合理調整參數才能最大化性能,本文簡單列舉一些調優項。爲了符合實際情況,Spark也採用on YARN部署方式來說明。 Driver參數 spark.driver.cores 該參數表示每個Executor可
相關文章
相關標籤/搜索