spark--環境搭建--1.CentOS65集羣搭建

1. 安裝至少3臺centos65虛擬機

2. 配置靜態ip並關閉防火牆

$ vi /etc/sysconfig/network-scripts/ifcfg-eth0

ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.2.100
NETMASK=255.255.255.0
GATEWAY=192.168.2.1

$ service network restart　　# 重啓網卡

$ ifconfig eth0 xxx.xxx.xxx.xxx　　# (無需此步)臨時更改ip爲...

$ ifconfig　　# 查看當前ip

# 關閉防火牆

$ service iptables stop

$ chkconfig iptables off

$ vi /etc/selinux/config

SELINUX=disabled

$ getenforce　　# 查看防火牆狀態

$ reboot　　# 最好重啓一下

# 重啓報錯(/etc/selinux/config設置錯誤, 把最後一行設置爲了disabled)

1. 已經重啓
系統啓動的時候按下 'e' 鍵進入grub編輯界面
選擇 "kernel /vmlinuz-XXXXro root=/dev/vogroup00/logvol00 rhgb quiet" 一欄, 按 'e' 鍵進入編輯
在 rhgb quiet 後增長 enforcing=0 回車
按 'b' 鍵繼續引導
2. 未重啓或按上述方法重啓後
root帳戶下
$ vi /etc/grub.conf
在倒數第二行 rhgb quiet 後添加 enforcing=0

# 配置dns服務器

$ vi /etc/resolv.conf

nameserver 61.139.2.69

$ ping www.baidu.com　　# 查看是否能鏈接外部網絡

3. 修改hosts文件

$ vi /etc/hosts

192.168.2.100 spark1
192.168.2.101 spark2
192.168.2.102 spark3

4. yum配置

$ cd /etc/yum.repos.d/
$ rm -rf *　　# 清空此目錄
$ cp /???/CentOS6-Base-163.repo ./　　# 本身下載此文件並將其拷貝到此目錄
$ vi CentOS6-Base-163.repo
將全部gpgcheck屬性修改成0

$ yum clean all
$ yum makecache
$ yum install telnet

5. java環境配置

$ rpm -ivh jdk-7u80-linux-i586.rpm　　# 本身下載對應jdk包

# 默認安裝在 /usr/java/latest/ 目錄下

$ vi ~/.bashrc　　# 配置環境變量

export JAVA_HOME=/usr/java/latest
export PATH=$PATH:$JAVA_HOME/bin

$ source .bashrc　　# 載入環境變量

$ java -version　　# 測試jdk是否安裝成功

$ rm -f /etc/udev/rules.d/70-persistent-net.rules

6. 配置集羣ssh免密碼登陸

# 三臺機器分別執行$ ssh-keygen -t rsa
$ cd /root/.ssh
$ cp id_rsa.pub authorized_keys# spark1$ ssh-copy-id -i spark2$ ssh-copy-id -i spark3# spark2$ ssh-copy-id -i spark1$ ssh-copy-id -i spark3# spark3$ ssh-copy-id -i spark1$ ssh-copy-id -i spark2