CentOS7安裝CDH 第十四章：CDH的優化

時間 2019-12-01

標籤 centos7 centos 安裝 cdh 第十四優化欄目 Tomcat 简体版

原文原文鏈接

1. 機器選型

機器選型時從CPU，MEMORY和DISK3個方面來選：

CPU:雲服務器 |刀片服務器（192G/56核/10T 7w人民幣 --> 6臺 32G/8核）

MEMORY: 越多越好

DISK: 評估當前將來2-3年的存儲量 >7200轉 IO （ 5塊/2T/10000轉）

NetWork: 千兆/萬兆局域網

2. Linux參數

如下Linux參數設置爲在centos6.x中通用，但在centos7應該也能使用：

一、句柄數文件數線程數

echo "* soft nofile 65535" >> /etc/security/limits.conf
echo "* hard nofile 65535" >> /etc/security/limits.conf
echo "* soft nproc 65535" >> /etc/security/limits.conf
echo "* hard nproc 65535" >> /etc/security/limits.conf
echo "* soft nproc 65535" >>/etc/security/limits.d/90-nproc.conf

二、網絡參數

more /etc/sysctl.conf |grep net.core.somaxconn
sysctl -w net.core.somaxconn=32768 
echo net.core.somaxconn=32768 >> /etc/sysctl.conf
#生效
sysctl -p

三、調節交換內存(swap)

# 調節命令
more /etc/sysctl.conf | vm.swappiness
echo vm.swappiness = 10 >> /etc/sysctl.conf
#生效
sysctl -p

# 說明
vm.swappiness = 0  禁用？ 不是，惰性最大(積極性最差)，但依然會使用swap
vm.swappiness = 10 惰性稍微大(積極性稍等差)，使用swap
計算密集型做業 --》swap不啓用，僅僅使用內存計算，當內存不夠，做業自動被yarn kill  不容許慢，能夠容許掛
不是密集型計算  swap啓用，容許做業慢，但不容許掛

能夠使用free -h命令查看swap的使用狀況：

四、關閉大頁面

echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
echo 'echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag' >> /etc/rc.local

3. HDFS調優

在HDFS的config中配置以下參數：

<property>
    <name>ipc.server.listen.queue.size</name>
    <value>32768</value>
</property>
<property>
    <name>io.file.buffer.size</name>
    <value>65536</value>
</property>

4. YARN調優

在yarn的config的core-site.xml中配置以下配置：

<property>
       <name>yarn.nodemanager.resource.memory-mb</name>
    <value>8192</value>
</property>
<property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
       <value>1024</value>
      <discription>單個任務可申請最少內存，默認1024MB</discription>
</property>

 <property>
         <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>8192</value>
        <discription>單個任務可申請最大內存，默認8192MB</discription>
</property>
<property>
           <name>yarn.nodemanager.resource.cpu-vcores</name>
           <value>4</value>
</property>