windows下hadoop安裝配置（轉載）

Windows平臺安裝配置Hadoop

步驟： 
1. JDK安裝（不會的戳這） 
2. 下載hadoop2.5.2.tar.gz，或者自行去百度下載。 
3. 下載hadooponwindows-master.zip【**能支持在windows運行hadoop的工具】

---

1、 安裝hadoop2.5.2

下載hadoop2.5.2.tar.gz ，並解壓到你想要的目錄下，我放在D:\dev\hadoop-2.5.2 

2、配置hadoop環境變量

1.windows環境變量配置

右鍵單擊個人電腦 –>屬性 –>高級環境變量配置 –>高級選項卡 –>環境變量 –> 單擊新建HADOOP_HOME，以下圖 

2.接着編輯環境變量path，將hadoop的bin目錄加入到後面；

3、修改hadoop配置文件

1. 編輯「D:\dev\hadoop-2.5.2\etc\hadoop」下的core-site.xml文件，將下列文本粘貼進去，並保存；

<configuration> <property> <name>hadoop.tmp.dir</name> <value>/D:/dev/hadoop-2.5.2/workplace/tmp</value> </property> <property> <name>dfs.name.dir</name> <value>/D:/dev/hadoop-2.5.2/workplace/name</value> </property> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>

 

2.編輯「D:\dev\hadoop-2.5.2\etc\hadoop」目錄下的mapred-site.xml(沒有就將mapred-site.xml.template重命名爲mapred-site.xml)文件，粘貼一下內容並保存；

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapred.job.tracker</name> <value>hdfs://localhost:9001</value> </property> </configuration>

3.編輯「D:\dev\hadoop-2.5.2\etc\hadoop」目錄下的hdfs-site.xml文件，粘貼如下內容並保存。請自行建立data目錄，在這裏我是在HADOOP_HOME目錄下建立了workplace/data目錄；

<configuration> <!-- 這個參數設置爲1，由於是單機版hadoop --> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.data.dir</name> <value>/D:/dev/hadoop-2.5.2/workplace/data</value> </property> </configuration>

4.編輯「D:\dev\hadoop-2.5.2\etc\hadoop」目錄下的yarn-site.xml文件，粘貼如下內容並保存；

<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration>

5.編輯「D:\dev\hadoop-2.5.2\etc\hadoop」目錄下的hadoop-env.cmd文件，將JAVA_HOME用 @rem註釋掉，編輯爲JAVA_HOME的路徑，而後保存；

@rem set JAVA_HOME=%JAVA_HOME% set JAVA_HOME=D:\java\jdk --jdk安裝路徑

4、替換文件

下載到的hadooponwindows-master.zip，解壓，將bin目錄(包含如下.dll和.exe文件)文件替換原來hadoop目錄下的bin目錄；

5、運行環境

1.運行cmd窗口，執行「hdfs namenode -format」； 
2.運行cmd窗口，切換到hadoop的sbin目錄，執行「start-all.cmd」，它將會啓動如下進程。

成功後，如圖： 

---

至此，hadoop服務已經搭建完畢。

接下來上傳測試，操做HDFS

根據你core-site.xml的配置，接下來你就能夠經過：hdfs://localhost:9000來對hdfs進行操做了。

1.建立輸入目錄

C:\WINDOWS\system32>hadoop fs -mkdir hdfs://localhost:9000/user/ C:\WINDOWS\system32>hadoop fs -mkdir hdfs://localhost:9000/user/wcinput

2.上傳數據到目錄

C:\WINDOWS\system32>hadoop fs -put D:\file1.txt hdfs://localhost:9000/user/wcinput C:\WINDOWS\system32>hadoop fs -put D:\file2.txt hdfs://localhost:9000/user/wcinput

3.查看文件 

大功告成。

---

附錄：hadoop自帶的web控制檯GUI

1.資源管理GUI:http://localhost:8088/； 

2.節點管理GUI:http://localhost:50070/；