啃掉Hadoop系列筆記(04)-Hadoop運行模式之僞分佈式模式

    僞分佈式模式等同於徹底分佈式，只是她只有一個節點。

一） HDFS上運行MapReduce 程序

（1）配置集羣

　　（a）配置：hadoop-env.sh

　　　　Linux系統中獲取jdk的安裝路徑：

　　　　修改JAVA_HOME 路徑：

　　（b）配置：core-site.xml

　　　　原始該文件內容

　　　　配置後該文件內容

　　（c）配置：hdfs-site.xml

　　　　該文件原始內容

　　　　配置後該文件內容

（2）啓動集羣

　　（a）格式化namenode（第一次啓動時格式化，之後就不要總格式化）

　　（b）啓動namenode

　　（c）啓動datanode

（3）查看集羣

　　（a）查看是否啓動成功

　　（b）查看產生的log日誌

　　（c）web端查看HDFS文件系統

　　　　在瀏覽器中輸入 http://192.168.47.101:50070/

　　　　至此一個Hadoop的僞分佈模式即搭建完成

（4）操做集羣

　　（a）在hdfs文件系統上建立一個input文件夾

　　　　進入Web查看是否建立成功

　　（b）將測試文件內容上傳到文件系統上

　　（c）查看上傳的文件是否正確

　　（d）在Hdfs上運行mapreduce程序

　　（e）查看輸出結果

　　　　命令行查看：

　　　　瀏覽器查看

　　（f）將測試文件內容下載到本地

　　　　點擊上一步瀏覽器查看中的part-r-00000

　　　　將 part-r-00000文件下載後查看

　　（g）刪除輸出結果

二） YARN上運行MapReduce 程序

（1）配置集羣

　　（a）配置yarn-env.sh

　　　　配置JAVA_HOME

　　（b）配置yarn-site.xml

　　　　增長兩個屬性節點

　　（c）配置：mapred-env.sh

            配置JAVA_HOME

　　（d）配置： (對mapred-site.xml.template從新命名爲) mapred-site.xml

            並配置相應節點

（2）啓動集羣

        啓動集羣以前先要保證namenode和datanode正常啓動

　　（a）啓動resourcemanager

　　（b）啓動nodemanager

（3）集羣操做

　　（a）yarn的瀏覽器頁面查看

            啓動成功後在瀏覽器中輸入對應地址可查看

　　（b）執行mapreduce程序

　　（c）查看運行結果

　　（d）刪除文件系統上的output文件

三） 修改本地臨時文件存儲目錄

1）中止進程

        按照resourcemanager/nodemanager->datanode/namenode的前後順中止進程

2）修改hadoop.tmp.dir

        hadoop默認生成的dfs等文件放在 /tmp/hadoop-{hostname} 下的當重啓後 系統臨時文件夾中內容被清除，所以須要從新配置臨時文件夾

在hadoop-2.7.2中新建 data/tmp 文件夾

後修改 core-site.xml，增長屬性節點

3）格式化NameNode

4）啓動全部進程

        按照 namenode/datanode->resourcemanager/nodemanager順序啓動

5）查看/opt/module/hadoop-2.7.2/data/tmp這個目錄下的內容