Hadoop window win10 基礎環境搭建(2.8.1)(轉)

下面運行步驟除了配置文件有部分改動，其餘都是參照hadoop下載解壓的share/doc/index.html。

hadoop下載：http://apache.opencas.org/hadoop/common/

解壓至無空格目錄下便可，下面是目錄結構：

下面配置windows環境：

Java JDK ：

我採用的是1.8的，配置JAVA_HOME，若是默認安裝，會安裝在C:\Program Files\Java\jdk1.8.0_51。此目錄存在空格，啓動hadoop時將報錯，JAVA_HOME is incorrect ...此時須要將環境變量JAVA_HOME值修改成：C:\Progra~1\Java\jdk1.8.0_51，Program Files能夠有Progra~代替。

Hadoop 環境變量： 

新建HADOOP_HOME，指向hadoop解壓目錄，如：D:/hadoop。path環境變量中增長：%HADOOP_HOME%\bin;。

Hadoop 依賴庫：

winutils相關，hadoop在windows上運行須要winutils支持和hadoop.dll等文件，下載地址：http://download.csdn.net/detail/fly_leopard/9503059

注意hadoop.dll等文件不要與hadoop衝突。爲了避免出現依賴性錯誤能夠將hadoop.dll放到c:/windows/System32下一份。

hadoop環境測試：

起一個cmd窗口，起到hadoop/bin下，hadoop version，顯示以下：

hadoop基本文件配置：hadoop配置文件位於：hadoop/etc/hadoop下

core-site.xml / hdfs-site.xml / mapred-site.xml / yarn-site.xml

core-site.xml:

 <configuration>  <property>  <name></name>  <value></value>  </property>  </configuration>

hdfs-site.xml:

 

 <configuration>  <property>  <name></name>  <value></value>  </property>  <property>  <name></name>  <value></value>  </property>  <property>  <name></name>  <value></value>  </property>  </configuration>

mapred-site.xml:

 <configuration>  <property>  <name></name>  <value></value>  </property>  </configuration>    <configuration>  <property>  <name></name>  <value></value>  </property>  <property>  <name></name>  <value></value>  </property>  </configuration>

格式化系統文件：

hadoop/bin下執行 hdfs namenode -format

待執行完畢便可，不要重複format。

格式化完成後到hadoop/sbin下執行 start-dfs啓動hadoop

訪問：http://localhost:50070

（不是必須的 ) 建立目錄：用於輸入和輸出，Linux上是/user/用戶名/xx
windows上可能沒具體要求，我建立也是按照liunx目錄方式的。參照的api doc上面

建立完成能夠經過hdfs dfs-ls 目錄名稱查看，也能夠在瀏覽器中查看建立的目錄或文件

input輸入文件到目錄：login_weibo2是我本身建立的文本文件，位於hadoop一個盤的。此處是D:/hadoop/login_weibo2

若是瞭解命令參數輸入hdfs dfs回車查看dfs命令參數 。hdfs dfs -put回車查看put相關參數。其餘命令也是這樣。

查看input輸入的文件內容：

運行hadoop給的examples，作個參考，運行下面命令等待執行完成。hadoop jar jar文件位置 grep 輸入目錄(包含被處理文件的目錄)  輸出目錄(運行結果輸出目錄)

而後查看文件夾下多了些東西，就是運行結果輸出目錄，結果般存在part-r-xxxx裏面。

在hadoop/sbin下啓動start-yarn，訪問http://localhost:8088可查看 資源、節點管理

Tip: （1）本身按照這個帖子配置好了，也啓動成功了，所以放到第一個，我用的版本的2.8.1，執行啓動的時候不要先入爲主的認爲切換到bin目錄，實際是切換到sbin目錄！ （2）至於「winutils」和「hadoop.dll」的文件下載，文中地址失效了！能夠去這個地址https://github.com/steveloughran/winutils下載，並且下載的時候不要用右鍵-->另存爲，而是要點擊「winutils.exe」後到頁面中找到Download按鈕下載！