hadoop(01)、windows平臺下hadoop環境搭建

       hadoop是運行在linux系統下的一個由Apache基金會所開發的分佈式系統基礎架構。用戶能夠在不瞭解分佈式底層細節的狀況下，開發分佈式程序，充分利用集羣的威力進行高速運算和存儲。今天咱們要在windows環境下搭建hadoop的環境，Windows下運行Hadoop，一般有兩種方式：一種是用VM方式安裝一個Linux操做系統，這樣基本能夠實現全Linux環境的Hadoop運行；另外一種是經過Cygwin模擬Linux環境。後者的好處是使用比較方便，安裝過程也簡單。今天咱們使用第三種方式不須要虛擬機和cygwin依賴，相對簡便不少。

1、環境搭建準備

1.windows系統（win7及以上）

2.hadoop程序包（本文使用最新穩定版hadoop-2.8.2），下載地址：

http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.2

3.下載hadoop在windows上須要的winutils支持和hadoop.dll依賴庫，下載地址：

https://github.com/steveloughran/winutils （注：選擇本身對應的版本）

2、開始搭建步驟

1.安裝hadoop

將剛纔下載的hadoop-2.8.2程序包解壓到windows的磁盤目錄下（注：無空格目錄，最好不要漢語）

而後配置hadoop的環境變量：新建HADOOP_HOME，定位到hadoop解壓目錄，如：

D:\tool\bigdata\hadoop （注：個人目錄，你們換成本身的目錄）path環境變量中增長：

%HADOOP_HOME%\bin;

2.下載安裝JDK環境

jdk安裝配置此處省略，個人其餘地方已經說起，或者你們本身百度搭建

3.配置Hadoop依賴庫

將winutils.exe放到hadoop的bin目錄下，將hadoop.dll放到C盤/windows/System目錄下    

注：若是出現依賴性異常問題能夠將hadoop.dll放到C盤/windows/System32解決

4.測試hadoop環境

在hadoop的bin目錄下按住shift右擊選擇在此處打開命令行，輸入hadoop version命令查看信息：

 

5.配置hadoop

修改hadoop核心配置文件hadoop/etc/hadoop/core-site.xml 

修改hdfs配置文件hadoop/etc/hadoop/hdfs-site.xml

修改hdfs配置文件hadoop/etc/hadoop/mapred-site.xml

修改hdfs配置文件hadoop/etc/hadoop/yarn-site.xml

6.啓動hadoop環境

啓動前先執行hdfs namenode -format格式化系統文件命令（注：hadoop/bin下執行）

此時已進行完初始化系統第一步，接下來cd到hadoop/sbin目錄下，按住shift右擊選擇在此處打開命

令行執行 start-dfs 命令啓動hadoop

查看控制檯日誌發現啓動報出異常，沒有啓動成功：查看控制檯錯誤時缺乏庫文件，好像忘記把hadoop.dll文件加到hadoop的bin目錄下了，因而拷貝粘貼再次執行start-dfs命令

此時成功啓動，在瀏覽器地址欄輸入http://127.0.0.1:50070/

此時說明hadoop在windows平臺下已經成功搭建完成。

3、hadoop的簡單使用

1.簡單操做hdfs

因爲已經在環境變量中配置了hadoop/bin目錄此時在命令行中直接就可以使歡樂的使用hdfs的命令了

<1>.顯示文件命令：hdfs dfs -ls

<2>.建立目錄（文件夾）命令：hdfs dfs -mkdir <目錄>

<3>.文件的輸入命令：hdfs dfs -put <源文件目錄>  <hdfs文件目錄>

<4>.文件內容顯示命令：hdfs dfs -cat <文件目錄>

<5>.刪除文件命令：hdfs dfs -<文件目錄>

2.可視化hdfs資源

使用命令行操做可能會以爲不清晰，因而hadoop爲咱們提供了可視化操做：咱們進入hadoop/sbin目錄下輸入start-yarn命令回車，而後訪問http://127.0.0.1:8088就能夠可視化的查看資源以及進行節點管理的操做。

其餘web管理界面地址：

NameNode	http://127.0.0.1:port/	默認 HTTP 端口爲 50070.
ResourceManager	http://127.0.0.1:port/	默認 HTTP端口爲 8088
MapReduce JobHistory Server	http://127.0.0.1:port/	默認 HTTP 端口爲 19888