學習Hadoop+Spark大數據巨量分析與機器學習整合開發-windows利用虛擬機實現模擬多節點集羣構建

記錄學習《Hadoop+Spark大數據巨量分析與機器學習整合開發》這本書。

第五章 Hadoop Multi Node Cluster

windows利用虛擬機實現模擬多節點集羣構建

 5.2-5.3 設置VirtualBox網卡，設置data1服務器

1. 設置網卡

網卡1設爲網絡地址轉換（NAT）

網卡2設爲僅主機（Host-Only）適配器

2. 編輯網絡配置文件設置固定IP

 sudo gedit /etc/network/interfaces

# NAT interface

auto eth0

iface eth0 inet dhcp

# host only interface

auto eth1

iface eth1 inet static

address         192.168.56.101

netmask         255.255.255.0

network         192.168.56.0

broadcast       192.168.56.255

3. 設置hostname

sudo gedit /etc/hostname

data1

4. 設置hosts文件

sudo gedit /etc/hosts

192.168.56.100  master

192.168.56.101  data1

192.168.56.102  data2

192.168.56.103  data3

5. 編輯core-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml

<property>

   <name>fs.default.name</name>

   <value>hdfs://master:9000</value>

</property>

6.編輯yarn-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml

<property>

   <name>yarn.resourcemanager.resource-tracker.address</name>

   <value>master:8025</value>

</property>

<property>

   <name>yarn.resourcemanager.scheduler.address</name>

   <value>master:8030</value>

</property>

<property>

   <name>yarn.resourcemanager.address</name>

   <value>master:8050</value>

</property>

7. 編輯mapred-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml

<property>

   <name>mapred.job.tracker</name>

   <value>master:54311</value>

</property>

8. 編輯hdfs-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml

<property>

   <name>dfs.replication</name>

   <value>3</value>

</property>

<property>

   <name>dfs.datanode.data.dir</name>

   <value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>

</property>

9. 從新啓動

10. ifconfig查看網絡設置

 

5.4 複製data1服務器到data二、data三、master

 

5.5 設置data二、data3服務器

1. 設置data2固定IP地址

 sudo gedit /etc/network/interfaces

192.168.56.102

2. 設置hostname

sudo gedit /etc/hostname

data2

3. 設置data3固定IP地址

 sudo gedit /etc/network/interfaces

192.168.56.103

4. 設置hostname

sudo gedit /etc/hostname

data3

5.6 設置master服務器

1. 設置master固定IP地址

 sudo gedit /etc/network/interfaces

192.168.56.100

2. 設置hostname

sudo gedit /etc/hostname

master

3. 設置hdfs-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml

<property>

   <name>dfs.replication</name>

   <value>3</value>

</property>

<property>

   <name>dfs.namenode.name.dir</name>

   <value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>

</property>

4. 編輯masters文件

sudo gedit /usr/local/hadoop/etc/hadoop/masters

master

5. 編輯slaves文件

sudo gedit /usr/local/hadoop/etc/hadoop/slaves

data1

data2

data3