說說我對spark-sql的job的參數調優

首先要說的是機器配置node namenode/datanode:  sql cpu : 8core  memory: 56G架構 我如今是基於yarn+spark的架構來講。spa 如今設置 線程 yarn.nodemanager.resource.memory-mb =51200 (50GB)  --每一個node能夠最多使用50GB做爲 container 的分配orm yarn.sched

>>阅读原文<<