Win7 64位 Hadoop單機模式安裝

安裝JDK，設置好環境變量：

下載 hadoop-2.6.5

• http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common->下載hadoop-2.6.5.tar.gz
  • 解壓便可使用
  • 放入E:\0_jly\hadoop-2.6.5
• 下載window util for hadoop （幾個 dll 文件 放入上述文件）

添加環境變量 HADOOP_HOME

• 並添加到Path路徑：%HADOOP_HOME%\bin

建立namenode及datanode目錄，用來保存數據，

• 例如 
  • E:\0_jly\hadoop-2.6.5\namenode
  • E:\0_jly\hadoop-2.6.5\datanode

hadoop 相關配置文件設置，涉及到4個主要的配置文件：

• core-site.xml

  • <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://localhost:9000</value>
        </property>   
    </configuration>

     

• hdfs-site.xml

  • <configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>/E:/0_jly/hadoop-2.6.5/namenode</value>
        </property>
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>/E:/0_jly/hadoop-2.6.5/datanode</value>
        </property>
    </configuration>

• mapped-site.xml

  • <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>

• yarn-site.xml

  • <configuration>
        <!-- Site specific YARN configuration properties -->
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <property>
            <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
            <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
            <name>yarn.scheduler.minimum-allocation-mb</name>
            <value>1024</value>
        </property>
        <property>
            <name>yarn.nodemanager.resource.memory-mb</name>
            <value>4096</value>
        </property>
        <property>
            <name>yarn.nodemanager.resource.cpu-vcores</name>
            <value>2</value>
        </property>
    </configuration>

格式化namenode

• hadoop namenode -format

啓動或中止hadoop

• start-all.cmd
  • 第二次啓動報錯：使用jps發現
  • DataNode進程沒有啓動
    • 報錯的信息爲，namenode clusterID 與 datanode clusterID 不一致！
    • 將E:\0_jly\hadoop-2.6.5\data\namenode\current\VERSION內的clusterID
      • datanode clusterID改成與namenode clusterID 一致便可
• stop-all.cmd

查看mapreduce job：

• localhost:8088

查看hdfs 文件系統：

• localhost:50070

測試hadoop自帶的wordcount

• hdfs dfs -mkdir /input

  • /input 不帶  /  放的地方就不是根目錄

    • 會放到 /user/Administrater/

• hdfs dfs -put /E:/BaiduNetdiskDownload/1.txt /input

  • 以下圖能夠看到你上傳的文件

查看你啓動的進程：

• jps

• hadoop jar /E:\0_jly\hadoop-2.6.5\share\hadoop\mapreduce\hadoop-mapreduce-examples-2.6.5.jar wordcount /input /output
  • 運行結果能夠下載