Windows下安裝hdfs環境

安裝環境：VM VirtualBox/CentOS7/hadoop-2.8.1

1.設置虛擬機中的網絡

1）在虛擬機中選用host-only網絡

2）修改配置文件:

修改相關文件，將值設置爲下面列舉的值

vi /etc/sysconfig/network

NETWORKING=yes

GATEWAY=192.168.56.1

vi /etc/sysconfig/network-scripts/ifcfg-enp0s3

TYPE=Ethernet

IPADDR=192.168.56.100

NETMASK=255.255.255.0

3)修改主機名

hostnamectl set-hostname master

4)重啓網絡

service network restart

5)關閉防火牆

systemctl stop firewalld

2.使用xshell鏈接虛擬機，使用xftp將安裝包放到虛擬機上，安裝jdk，jdk要求1.8以上

rpm -i --prefix=/usr/local jdk-8u151-linux-x64.rpm

3.配置jdk環境變量

vi ~/.bash_profile

export JAVA_HOME=/usr/local/jdk1.8.0_151

export PATH=$JAVA_HOME/bin:$PATH

修改以後，從新編譯

source ~/.bash_profile

4.安裝hadoop:

tar zxvf hadoop-2.8.1.tar.gz -C /usr/local

5.修改配置文件/usr/local/hadoop-2.8.1/etc/hadoop/hadoop-env.sh設置jdk路徑export JAVA_HOME=/usr/local/jdk1.8.0_151

6.修改/usr/local/hadoop-2.8.1/etc/hadoop 下core-site.xml配置

<property>
	<name>fs.defaultFS</name>
	<value>hdfs://master:8020</value>
</property>
--注意：master爲主機名稱
--設置默認的數據保存路徑
<property>
    <name>hadoop.tmp.dir</name>
     <value>/usr/local/hadoop-2.8.1/hadoop_tmp</value> 
     <description>A base for other temporary directories.</description>
</property>

7.修改/usr/local/hadoop-2.8.1/etc/hadoop下的hdfs-site.xml(設置只備份一次)

<property>
          <name>dfs.replication</name>
           <value>1</value> 
</property>

8.格式化文件系統,在/usr/local/hadoop-2.8.1/bin目錄下執行下面命令,只須要執行一次

./hdfs namenode -format

9.啓動 /usr/local/hadoop-2.8.1/sbin下面的 ./start-dfs.sh，啓動成功顯示以下：

./stop-dfs.sh 關閉

10.瀏覽器查看集羣狀態 http://192.168.56.100:50070

注意:文中路徑可能有實際有差距，根據我的狀況自行修正