spark集羣搭建（三臺虛擬機）——系統環境搭建（1）

！！！該系列使用三臺虛擬機搭建一個完整的spark集羣，集羣環境以下：

virtualBox5.二、Ubuntu14.0四、securecrt7.3.6_x64英文版（鏈接虛擬機）

jdk1.7.0、hadoop2.6.五、zookeeper3.4.五、Scala2.12.六、kafka_2.9.2-0.8.一、park1.3.1-bin-hadoop2.6

第一篇：準備三臺虛擬機環境，配置靜態IP，ssh免密碼登陸

第二篇：搭建hadoop集羣

第三篇：搭建zookeeper集羣

第四篇：搭建kafka集羣

第五篇：搭建spark集羣

1、虛擬機配置

一、下載安裝三臺虛擬機

我選擇的版本是virtualBox5.二、Ubuntu14.04，virtualBox用起來比VMware要輕便些，開關機快不少，我的體會

注意此處三臺虛擬機要使用三個鏡像文件，分別放三個文件夾中

二、分別配置三臺虛擬機靜態IP

http://www.cnblogs.com/suwy/p/9436211.html

三、配置虛擬機到本機映射（三臺虛擬機）

進入本機目錄，打開hosts文件：C:\Windows\System32\drivers\etc

添加虛擬機IP：

192.168.1.124   spark1
192.168.1.123   spark2
192.168.1.125   spark3

cmd進入windows控制檯就能夠ping通虛擬機了

 

四、能夠使用securecrt鏈接虛擬機 ，操做起來比較方便

參考：http://www.javashuo.com/article/p-sfndljjh-ds.html

五、配置三臺虛擬機之間的IP映射

$ vim /etc/hosts

添加以下（三臺虛擬機的IP都要添加）：

192.168.1.124   spark1
192.168.1.123   spark2
192.168.1.125   spark3

此時三臺虛擬機之間能夠相互ping通

二 、系統環境

一、安裝jdk

二、ssh免密碼登陸

下載ssh

apt-get install openssh-server

和單機的不一樣，集羣還要設置幾臺機器之間相互的免密碼登陸

對本機免密碼登陸：

$ ssh-keygen -t rsa
$ cd /root/.ssh
$ cp id_rsa.pub authorized_keys

三臺機器之間的免密碼登陸：

$ ssh-copy-id -i  目標主機名

例如：當前機器spark1,要實現對spark2免密碼登陸，則在spark1命令行輸入

$ ssh-copy-id -i spark2