手把手教你安裝mac版hadoop2.7.3教程

一.準備教程

　　1.jdk：版本在1.7.x以上就能夠（由於hadoop2.x以上只支持1.7.x以上的jdk,個人是1.8的）

　　2.Hadoop:2.7.3

二.ssh的配置以及驗證

　　配置ssh：

　　1.確認mac的遠程登陸是否開啓

　　　　系統偏好設置->共享->勾選遠程登陸.

　　當遠程登陸狀態爲打開且爲綠燈時，成功開啓，ok,進行下一步.

　　2.打開你的terminal,在終端執行以下命令:　　　

ssh-keyagent -t

　　而後一直回車。當執行完這條指令以後你能夠在前往到~/.ssh目錄下發現以下兩個文件

　　當出現這兩個文件以後，再在終端執行以下代碼（該代碼用於ssh免登陸設置）:

cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys

　　ok,ssh免登陸配置完成。

　　驗證ssh

　　配置完ssh以後如今來驗證ssh是否配置成功

　　在終端輸入以下命令：

ssh localhost

　　若是出現以下信息，則免密碼登陸ssh配置成功。

　　

三.安裝jdk

　　安裝jdk，在這裏就不用多囉嗦了.提醒一下的是，務必要安裝1.7以上的jdk。

　　JDK1.8下載地址: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

四.安裝Hadoop

　　當jdk安裝完畢以及ssh配置都成功以後咱們如今能夠來着手進行Hadoop的安裝了。

　　Hadoop下載地址: https://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/

　　下載以下圖片標記的文件便可：

　　

　　將該文件解壓到你喜歡的地方。若是怕找不到解壓後的文件的路徑，那麼就將該文件標記一下顏色，下次輸入該文件的所在路徑的話，直接選擇你標記的顏色，找到該文件，而後拖到終端就能顯示該文件的絕對路徑了。ok,Hadoop安裝完成.

五.修改Hadoop的配置文件

　　所須要修改的配置文件都在hadoop-2.7.3/etc/hadoop目錄下。

　　hadoop-env.sh 

　　加入如下代碼：　

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_111.jdk/Contents/Home

　　core-site.xml

　　該配置文件用於指明namenode的主機名和端口，hadoop臨時目錄

<configuration>
    
    <!-- 指定HDFS老大（namenode）的通訊地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://0.0.0.0:9000</value>
    </property>
    <!-- 指定hadoop運行時產生文件的存儲路徑 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/Library/hadoop-2.7.3/temp</value>
    </property>

</configuration>

　　hadfs-site.xml

　　默認副本數3，修改成1，dfs.namenode.name.dir指明fsimage存放目錄，多個目錄用逗號隔開。dfs.datanode.data.dir指定塊文件存放目錄，多個目錄逗號隔開

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
　　 <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/Library/hadoop-2.7.3/tmp/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/Library/hadoop-2.7.3/tmp/hdfs/data</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>dfs.http.address</name>
        <value>0.0.0.0:50070</value>
    </property>
</configuration>

　　mapred-site.xml

<configuration>
    
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

</configuration>

　　yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>

</configuration>

六.配置Hadoop環境變量

　　當你完成第五步以後那麼你離hadoop的使用就不遠啦。加下來咱們要作的就是配置hadoop環境變量。

　　打開你的終端，執行如下命令。（若是有對sudo,vim命令不熟悉的同志們，建議大家先熟悉一下這些命令，瞭解一下如何編輯如何退出，如何使文件生效就能夠了）

　　

//在etc目錄下建立profile並進入編輯模式
sudo vim /etc/profile  
//＝後面接的是你的hadoo目錄所在的路徑，不知道路徑的同窗能夠直接將文件拖到終端就能夠顯示該目錄的絕對路徑了
export HADOOP_HOME=/Users/eleme/Documents/ProgramFiles/apache-software-foundation/hadoop-2.7.3/hadoop 
//而後退出編輯模式，這個操做本身去了解一下
//執行剛纔寫的profile，使profile生效
source /etc/profile

七.運行Hadoop　　　　

　　打開終端，跟着如下命令一步一步走就能夠了。

//進入hadoop安裝目錄
cd $HADOOP_HOME
//初始化namenode
hdfs namenode -format
//啓動hdfs
sbin/start-dfs.sh 
//啓動yarn
sbin/start-yarn.sh

　　當啓動完hdfs以及yarn能夠打開瀏覽器，輸入如下地址看是否能進入對應的頁面

　　啓動完hdfs訪問: http://localhost:50070

　　對應的頁面:

　　

 

　　啓動完yarn訪問: http://localhost:8088

　　對應的頁面:

　　

　　若是你能進入這兩個頁面，ok，那麼你的hadoop以安裝成功!

八.運行Hadoop實例

　　同第七個步驟同樣，打開終端跟着如下命令一步一步執行。

　　

//1.進入你的hadoop安裝目錄
cd $HADOOP_HOME
//2.在hdfs上建立你的用戶目錄,其中中間那個須要你本身填啊別直接粘貼運行啊
hdfs dfs -mkdir -p /user/(你本機用戶名)/input
//3.這個時候你能夠執行如下命令來查看目錄是否在hdfs上建立成功
hadoop fs -ls /user/(你本機用戶名)/input

　　若是成功的話，那麼就會有以下圖的顯示：

　　

　　

//4.而後將須要統計的文件上傳到hdfs上,其中($HADOOP_HOME/etc/hadoop/*.xml)是要上傳的文件的路徑 後面有個空格 而後接你要上傳的目錄路徑（也就是你剛剛所建立的目錄）
hdfs dfs -put $HADOOP_HOME/etc/hadoop/*.xml /user/(你本機用戶名)/input
//一樣也能夠用第3步的命令來查看文件是否上傳成功
//5.運行測試jar
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output ‘dfs[a-z.]+’  
//6.而後查看運行以後的產生的output文件夾下的信息
hdfs dfs -cat output/part-r-00000 

　　最後在終端顯示的output文件夾下的信息的結果以下圖：

　　

　　若是跟上圖一致，那麼，恭喜你，你邁出了hadoop的一小步，繼續加油！