Hadoop安裝配置

1.java環境

參考文章

2.ssh

參考文章

3.hadoop

• 下載安裝包

  地址

• 解壓

  mkdir /hadoop
  mv 下載路徑 /hadoop
  tar -xvf /hadoop/hadoop-2.9.2.tar.gzip

• 配置hadoop環境變量

  保存

4.僞分佈式

• 添加 jdk

• 修改 core-site.xml

  <configuration>
          <property>
               <name>hadoop.tmp.dir</name>
               <value>file:/usr/local/hadoop/tmp</value>
               <description>Abase for other temporary directories.</description>
          </property>
          <property>
               <name>fs.defaultFS</name>
               <value>hdfs://localhost:9000</value>
          </property>
  </configuration>

• 修改hdfs-site.xml

  <configuration>
          <property>
               <name>dfs.replication</name>
               <value>1</value>
          </property>
          <property>
               <name>dfs.namenode.name.dir</name>
               <value>file:/usr/local/hadoop/tmp/dfs/name</value>
          </property>
          <property>
               <name>dfs.datanode.data.dir</name>
               <value>file:/usr/local/hadoop/tmp/dfs/data</value>
          </property>
  </configuration>

• 配置好之後，執行NameNode的格式化

  ./bin/hdfs namenode -format

• 啓動namenode和datanode進程，並查看啓動結果

  ./sbin/start-dfs.sh

• 成功啓動後，可以訪問 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，還可以在線查看 HDFS 中的文件。