基於spark之上的即席分析-基礎環境設置

1.Ulimit配置 

操做系統默認只能打開1024個文件，打開的文件超過這個數發現程序會有「too many open files」的錯誤，1024對於大數據系統來講顯然是不夠的，若是不設置，基本上整個大數據系統是「不可用的」，根本不能用於生產環境。 

配置方法以下：

echo "* soft nofile 128000" >> /etc/security/limits.conf

echo "* hard nofile 128000" >> /etc/security/limits.conf

echo "* soft nproc 128000" >> /etc/security/limits.conf

echo "* hard nproc 128000" >> /etc/security/limits.conf

cat /etc/security/limits.conf

sed -i 's/1024/unlimited/' /etc/security/limits.d/90-nproc.conf

cat /etc/security/limits.d/90-nproc.conf

ulimit -SHn 128000

ulimit -SHu 128000

2. Swap的問題 

在10~20年前一臺服務器的內存很是有限，64m~128m，因此經過swap能夠將磁盤的一部分空間用於內存。可是現今咱們的服務器內存廣泛達到了64G以上，內存已經再也不那麼稀缺，可是內存的讀取速度與磁盤的讀取相差倍數太大，若是咱們某段程序使用的內存映射到了磁盤上，將會對程序的性能照成很是嚴重的影響，甚至致使整個服務的癱瘓。對於YDB系統來講，要求必定要禁止使用Swap. 

禁用方法以下，讓操做系統儘可能不使用Swap：

echo "vm.swappiness=1" >> /etc/sysctl.conf

sysctl -p

sysctl -a|grep swappiness

3.網絡配置優化

echo " net.core.somaxconn = 32768 " >> /etc/sysctl.conf

sysctl -p

sysctl -a|grep somaxconn

4.SSH無密碼登陸 

安裝 Hadoop與Ambari均須要無密碼登陸 

設置方法請參考以下命令

ssh-keygen

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 700 ~/.ssh

chmod 600 ~/.ssh/authorized_keys

 

ssh-copy-id root@ydbslave01

ssh-copy-id root@ydbslave02

 

5.關閉防火牆

iptables -P INPUT ACCEPT

iptables -P FORWARD ACCEPT

iptables -P OUTPUT ACCEPT

chkconfig iptables off

/etc/init.d/iptables stop

service iptables stop

iptables -F

6.配置機器名,以及hosts域名解析

hostname ydbmaster

vi /etc/sysconfig/network

vi /etc/hosts

切記 hosts文件中 不要將localhost給註釋掉，而且配置完畢後，執行下 hostname -f 看下 是否能識別出域名 

7.setenforce與Umask配置

setenforce

setenforce 0

sed -i 's/enabled=1/enabled=0/' /etc/yum/pluginconf.d/refresh-packagekit.conf

cat /etc/yum/pluginconf.d/refresh-packagekit.conf

Umask

umask 0022

echo umask 0022 >> /etc/profile

8.檢查/proc/sys/vm/overcommit_memory的配置值

若是爲2，建議修改成0，不然有可能會出現，明明機器可用物理內存不少，但JVM確申請不了內存的狀況。

9.語言環境配置

先修改機器的語言環境

#vi /etc/sysconfig/i18n LANG="en_US.UTF-8" SUPPORTED="zh_CN.GB18030:zh_CN:zh:en_US.UTF-8:en_US:en" SYSFONT="latarcyrheb-sun16"

而後配置環境變量爲utf8

echo "export LANG=en_US.UTF-8 " >> ~/.bashrc

source ~/.bashrc

export|grep LANG

10.配置時間同步 

Hadoop，YDB等均要求機器時鐘同步，不然機器時間相差較大，整個集羣服務就會不正常，因此必定要配置。建議配置NTP服務。 

集羣時間必須同步，否則會有嚴重問題 

參考資料以下： 

Linux系統時鐘同步服務NTPD配置方法

http://blog.csdn.net/coding_cao/article/details/60571884

11.JDK安裝部署 

YDB支持JDK1.7,JDK1.8，爲了便於管理和使用，建議使用YDB隨機提供的JDK1.8 
建議統一安裝到/opt/ydbsoftware路徑下。 

12.環境變量 

請你們千萬不要在公共的環境變量配置Hive、Spark、LUCENE、HADOOP等環境變量，以避免相互衝突。 

13.請檢查盤符，不要含有中文 

尤爲是Ambari，有些時候，使用U盤或移動硬盤複製軟件，若是這個移動硬盤掛載點是中文路徑，這時在安裝Ambari的時候會出現問題，必定要注意這個問題。 

14.檢查磁盤空間，使用率不得超過90%

df -h

默認Yarn會爲每臺機器保留10%的空間，若是剩餘空間較少，Yarn就會停掉這些機器上的進程，並出現Container released on a lost node錯誤。 

15.關鍵日誌，定時清理，以避免時間久了磁盤滿了 

如能夠編輯crontab -e 每小時，清理一第二天志，尤爲是hadoop日誌，特別佔磁盤空間

0 */1 * * * find /var/log/hadoop/hdfs -type f -mmin +1440 |grep -E "\.log\." |xargs rm -rf