CentOS7安裝CDH 第十二章：YARN的資源調優

相關文章連接

CentOS7安裝CDH 第一章：CentOS7系統安裝

CentOS7安裝CDH 第二章：CentOS7各個軟件安裝和啓動

CentOS7安裝CDH 第三章：CDH中的問題和解決方法

CentOS7安裝CDH 第四章：CDH的版本選擇和安裝方式

CentOS7安裝CDH 第五章：CDH的安裝和部署-CDH5.7.0

CentOS7安裝CDH 第六章：CDH的管理-CDH5.12

CentOS7安裝CDH 第七章：CDH集羣Hadoop的HA配置

CentOS7安裝CDH 第八章：CDH中對服務和機器的添加與刪除操做

CentOS7安裝CDH 第九章：CDH中安裝Kafka

CentOS7安裝CDH 第十章：CDH中安裝Spark2

CentOS7安裝CDH 第十一章：離線升級CDH版本

CentOS7安裝CDH 第十二章：YARN的資源調優

CentOS7安裝CDH 第十三章：CDH資源池配置

CentOS7安裝CDH 第十四章：CDH的優化

1. memory調優

調優的本質就是對內存進行設置，使服務可以充分利用內存，從而速度更快，假設一臺機器有32G內存，那應該怎麼設置DataNode和Nodemanager的內存配置，從而是服務跑得更快。在Linux中，通常使用機器內存的百分之八十五用於服務，其餘的百分之十五用於Linux本機本身的運行。因此機器32G內存，其中可用於服務的內存有27G，分配以下：

DN: Heap Size: 4G (塊內存)

NM: Heap Size: 3G (塊內存)

    yarn.nodemanager.resource.memory-mb : 20G         (資源內存)

    yarn.scheduler.minimum-allocation-mb : 1G  默認1G   (最小內存)

    yarn.scheduler.maximum-allocation-mb: 20G                   (最大內存)

2. CPU調優

CPU調優就是集羣中服務的CPU核數進行設置，在此設置中，通常是設置的虛擬的核數，即線程數，假設該機器4個物理核，每一個核2個線程，那能夠把該參數設置爲6，即若是運行spark的時候能夠有6個task並行運行，這個參數默認是2，在線上的服務器是遠遠不夠的，因此要進行設置，以下：

yarn.nodemanager.resource.cpu-vcores: 6  (6個task並行) 默認2

3. 調優總結

修改完，重啓服務，生效配置

其餘問題能夠參考：http://blog.itpub.net/30089851/viewspace-2127851/