Ubuntu上安裝Hadoop集羣

原文地址：itweknow.cn/detail?id=6… ，歡迎你們訪問。

前面咱們介紹了在Ubuntu上安裝Hadoop單機版。可是咱們知道，Hadoop在實際工做中都是以集羣的形式存在的，畢竟須要處理大量的數據，單機的處理速度顯然不能知足。因此這篇文章咱們就來介紹一下如何在Ubuntu上搭建Hadoop 集羣。

準備階段

• 三臺在同一局域網內的Linux機器或者虛擬機。
• 配置好Host文件，讓三臺機器能夠經過主機名進行訪問。
• 三臺機器上都安裝了JDK。
• 在其中一臺上安裝好Hadoop，安裝方法能夠參考前面的文章。

配置SSH免密登陸

你可能很奇怪我要搭建的是Hadoop集羣，爲啥須要配置SSH免密登陸呢。有兩點緣由：

1. 在啓動集羣上全部的節點的時候無需重複輸入密碼。
2. 咱們在搭建集羣的時候須要將Hadoop的文件夾複製到其餘機器上，若是是一兩臺的話copy起來很快， 可是若是是幾百臺呢，因此這個時候若是機器之間能夠免密登陸的話咱們能夠很方便的使用腳本完成整個工做。 具體的配置方式能夠看下我以前的文章，SSH免密登陸（內含批量配置腳本）

修改單機版的配置文件

1. 修改core-site.xml，只須要修改fs.defaultFS配置項便可，hadoop.tmp.dir不須要修改。

<property>
    <name>fs.defaultFS</name>
    <!-- 修改成namenode的地址，改爲主機名 -->
    <value>hdfs://test:9000</value>
</property>
複製代碼

2. 修改``hdfs-site.xml`，主要是修改HDFS存儲文件副本的數量，以前單機版的時候設置爲1，如今改成2（這個配置項默認的配置爲2）。

<!-- 指定HDFS副本的數量 -->
<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>

複製代碼

安裝包複製，並設置環境變量

其實在咱們搭建好一臺機器的Hadoop環境後只須要下面幾步就能夠完成集羣環境的搭建了：

1. 將Hadoop的安裝目錄拷貝到其餘機器上。
2. 在其餘機器上配置Hadoop環境變量。
3. 執行source /etc/profile命令，使得環境變量生效。
4. 修改namenode的slave文件，指定datanode是哪幾臺機器

前面兩步我寫好了腳本，直接執行一下就能夠了。第3步中說的slave文件在hadoop的安裝目錄下的etc/hadoop/slave，我這裏用的test01和test02兩臺機器作datanode。

test01
test02
複製代碼

腳本地址 附上腳本使用說明

1. 須要保證腳本文件夾中的兩個腳本文件在同一目錄下。
2. 若是Hadoop的安裝目錄不爲/root/apps/hadoop/hadoop-2.8.5，則須要修改腳本中hadoop的安裝位置（兩個腳本中都須要修改）。
3. 修改腳本中機器名稱，SERVERS變量。

環境啓動

1. 在namenode機器上執行下面的命令

   start-all.sh
   複製代碼

2. 在瀏覽器中訪問`http://{機器IP}:50070，查看到以下結果即表明成功。