hadoop徹底分佈式部署

1.咱們先看看一臺節點的hdfs的信息：(已經安裝了hadoop的虛擬機：安裝hadoophttps://www.cnblogs.com/lyx666/p/12335360.html)

start-dfs 打開hdfs須要啓動的服務

而後再瀏覽器輸入http://虛擬機ip地址:50070

問下滑： 能夠看到如下相關信息

能夠看到集羣總容量大概爲10G，而該集羣只有一臺機器，因此集羣容量=該機器容量，能夠看看這臺虛擬機的硬盤是否是10G.

df -h / #確實是10G

2.接下來就要擴容該集羣的容量，將這臺虛擬機克隆(克隆步驟省略)

3.克隆機須要先配置如下

把克隆的dfs文件夾清空

將該文件夾下的數據清空：rm -rf *

網絡ip：

BOOTPROTO=static 本來爲DHCP
ONBOOT=yes 本來爲no
IPADDR=192.168.43.62 ip地址 在網段裏就行
NETMASK=255.255.255.0 子網掩碼
GATEWAY=192.168.43.1 網關 須要查看主機的ipv4地址配置
DNS1=8.8.8.8 谷歌的dns解析

改完後重啓網絡：systemctl restart network

修改主機名

我這裏是已經修改好了的，大家本來應該是localhost的主機名，我修改爲lyx-62

修改後記得重啓這臺虛擬機：reboot

配置ip和主機名映射 還須要加上被克隆的虛擬機的ip和主機映射 【注意：這裏兩臺都要添加修改】

修改後記得重啓這兩臺虛擬機：reboot

配置ssh免密通訊

（lyx-62）ssh-keygen #建立密鑰對#
（lyx-62）ssh-copy-id lyx-62 #將公鑰複製到lyx-62 也就是本機

注意這裏另外一臺也須要(lyx-61)：ssh-copy-id lyx-62 這樣兩臺就能免密通訊

修改hdfs-site.xfs配置文件 副本數修改成3【注意兩臺機器都須要修改】

<configuration>
          <property>
                  <name>dfs.replication</name>
                  <value>3</value>
          </property>
  </configuration>

將克隆機主機名添加到slaves配置文件中 也就是加入到集羣中 這裏修改的是【被克隆的】slaves.xml文件

3.只啓動被克隆的hdfs須要的服務

start-dfs.sh  #能夠看到lyx-62啓動了datanode服務，說明它已經加入到這個集羣了 因此它的硬盤也被加入到集羣了

接下來咱們在回過頭來看看集羣信息 能夠發現硬盤容量增長了，說明lyx-62這臺也被加入到集羣了。