【Spark亞太研究院系列叢書】Spark實戰高手之路-第一章 構建Spark集羣（第五步）（1）

第一步：構造分佈式Hadoop2.2.0集羣

1,在Windows 7（本教程中的Spark集羣運行的機器是8G的Windows內存）上安裝VMware虛擬機（咱們安裝的是VMware-workstation-full-9.0.2），本教程中的VMware Workstation下載地址：

       https://my.vmware.com/cn/web/vmware/details?downloadGroup=WKST-902-WIN&productId=293&rPId=3526

2,在VMvare中裝三臺Ubuntu機器（咱們使用的是ubuntu-12.10-desktop-i386），每臺機器分配2G的內存，本教程中Ubuntu下載地址：

http://www.ubuntu.org.cn/download/desktop/alternative-downloads

;font-� � l : ��E 0D �黑","sans-serif"'>

 

1,在Windows 7（本教程中的Spark集羣運行的機器是8G的Windows內存）上安裝VMware虛擬機（咱們安裝的是VMware-workstation-full-9.0.2），本教程中的VMware Workstation下載地址：

       https://my.vmware.com/cn/web/vmware/details?downloadGroup=WKST-902-WIN&productId=293&rPId=3526

3,分別在三臺Ubuntu機器中設置root用戶機器密碼，之後每次登陸的時候都是用root用戶登陸，具體設置方式以下：

•  sudo  -s進入 root用戶權限模式

•  vim /etc/lightdm/lightdm.conf

[SeatDefaults]

greeter-session=unity-greeter

user-session=Ubuntu

greeter-show-manual-login=true

allow-guest=false   

• 啓動root賬號：
  sudo passwd root

三臺機器修改後，再次登陸系統的時候用root用戶登陸：

4,配置三臺機器的/etc/hosts和/etc/hostname並安裝ssh設置三臺機器之間的無密碼登陸，具體步驟可參考Spark實戰高手之路-第一章的第一節 http://t.cn/RPo13rO 和Spark實戰高手之路第一章的第二節http://t.cn/RP9klmr 咱們在「/etc/hostname」文件中把三臺機器的hostname分別設置了SparkMaster、SparkWorker一、SparkWorker2並在每臺機器的「/etc/hosts」配置以下IP和機器名稱的對應關係：

配置好三天機器相互通訊的ssh後會發現三臺機器能夠相互使用ssh無密碼登陸：

5,在三臺Ubuntu機器上安裝Java，在這裏咱們使用的是jdk1.7.0_67(下載地址 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html )

 具體的安裝和配置方法請參考Spark實戰高手之路-第一章的第一節 http://t.cn/RPo13rO

安裝完成的能夠驗證一下：

三臺Ubuntu機器分別出現上述信息就代表Java安裝正確。

6,在SparkMaster這臺機器上安裝Hadoop 2.2.0,Hadoop 2.2.0的下載地址爲：

http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.2.0/

咱們下載的是「hadoop-2.2.0.tar.gz  」，以下圖所示：