spark中excutor的個數、內存大小、core的個數、task的個數、分區的個數、集羣的資源情況等的關係

目錄   1、Spark性能調優之資源分配  大體上這兩個方面:core    mem   (1)、分配哪些資源? (2)、在哪裏分配這些資源? (3)、調節到多大,算是最大呢? (4)、爲什麼調節了資源以後,性能可以提升? 2、分區個數和task個數的關係 3、Spark性能調優之合理設置並行度 (1)、Spark的並行度指的是什麼? (2)、如何去提高並行度?   1、Spark性能調優之資源
相關文章
相關標籤/搜索