Hadoop僞分佈式環境安裝

一.環境準備

　　阿里雲ECS(Centos7).已預裝JDK8

　　Hadoop安裝包 hadoop-2.7.7.tar.gz

二. 安裝步驟

　　1.確認JDK環境的安裝位置

　　命令 echo $JAVA_HOME

　　2.解壓hadoop-2.7.7.tar.gz 文件夾到指定目錄(目錄能夠本身定義)

　　命令 tar -zxvf hadoop-2.7.7.tar.gz -C /opt/module/ (我這裏是解壓到 /opt/module/目錄下)

　　3.配置運行環境

　　　　文件1:hadoop-env.sh

　　  　 　　配置Hadoop對JDK依賴的環境

　　　　　　輸入echo JAVA_HOME=(JDK環境的安裝位置,根據步驟1能夠肯定)

　　　　文件2:core-site.xml

　　　　　　配置文件系統櫃HDFS的主機名稱和端口號(這裏使用本機的名稱,能夠經過hostname查看主機名稱.端口號隨意指定,可是要在阿里雲控制檯開啓對外端口

<property>
      <name>fs.default.name</name><value>hdfs://localhost:8020</value></property>

　　　　　 配置文件系統namenode節點文件存放的目錄

<property>
      <name>dfs.name.dir</name>//hadoop臨時目錄用來存放臨時文件,若是不設置,則該文件會在linux系統重啓後消失 <value>/hadoop/name</value> //該目錄必須預先手工建立不能刪除 </property>

　　　　　配置文件系統櫃datanode節點文件存放目錄

<property>
      <name>dfs.data.dir</name> //hadoop臨時目錄用來存放namenode文件 <value>/hadoop/data</value> //該目錄必須預先手工建立不能刪除 </property>

　　　　  配置文件系統臨時文件的存放目錄

<property>
      <name>hadoop.tmp.dir</name> //hadoop臨時目錄用來存放datanode文件 
　　　　<value>/hadoop/tmp</value> //該目錄必須預先手工建立不能刪除 
</property>

　　　文件2:hdfs-site.xml

　　　　　　配置dfs的副本數量,僞分佈式設置爲1便可

<property>         <name>dfs.replication</name>         <value>1</value>
</property>

　　4.配置完成後須要 format格式化文件系統(注意.第一次執行便可,不要重複執行,重複執行會出問題,https://blog.csdn.net/weixin_38847462/article/details/77879459)

　　　　進入bin 目錄下./hadoop namenode -format

　　　　出現如下提示表示格式化成功

　　　　

 

 　　5.啓動hdfs 

　　　　進入sbin目錄下.啓動腳本./start-dfs.sh

　　　　啓動完成後 輸入 jps能夠查看是否啓動成功(注意,若是這裏沒有配置ssh免密登陸,name就會要你輸入密碼,很煩)

　　　　看到如下就是啓動成功了

　　　　

 　　　　注意:若是沒有這幾個進程,就是啓動失敗,能夠查看日誌信息,日誌信息在啓動時能夠查看,將out變爲log便可

　　　　http://localhost:50070

　　6.配置Hadoop 的bin目錄到系統的環境變量中,這樣使用shell就比較方便

　　　　/opt/module/hadoop-2.7.7/bin

　　　　vim ~/.bash_profile 

            

　　　　source ~/.bash_profile 

　　　　使用echo $HADOOP_HOME確認是否配置成功

　　　　

 　　7.hadoop經常使用的命令