Spark配置參數調優

1．配置多個executor        在項目中，由於數據量爲幾百萬甚至千萬級別，如果一個executor裝載的對象過多，會導致GC很慢。項目中，我們使一個worker節點執行app時啓動多個executor，從而加大併發度，解決full GC慢的問題。同時，由於啓動了多個exeucute，在內存與核數不變的情況下，需要調整分配給每個execute的內存數及核數。 2．配置數據序列化     

>>阅读原文<<