hadoop2.6.0版本搭建僞分佈式環境

因爲我的須要在本身的筆記本上搭建hadoop僞分佈環境，爲了方便本身使用，如想看機器也看以前的一篇博客：hadoop2.6.0版本集羣環境搭建

一臺虛擬機，配置信息以下：

內存：1G，cpu：一個core,硬盤：15G

一、修改下主機名爲master

sudo vi /etc/sysconfig/network

修改結果後：

重啓電腦後再查看結果：

修改主機名成功

二、修改hosts中的主機名：

修改後：

三、配置SSH

進入.ssh目錄並生成authorized_keys文件：

受權.ssh/文件夾權限爲700，authorized_keys文件權限爲600(or 644)：

ssh驗證：

四、hadoop安裝：

去官網下載hadoop最新安裝包：http://apache.fayea.com/hadoop/common/hadoop-2.6.0/

下載並解壓後：

修改系統配置文件，修改~/.bash_profile文件，增長HADOPP_HOME的bin文件夾到PATH中，修改後使用source命令使配置文件生效：

在hadoop目錄下建立文件夾：

接下來開始修改hadoop的配置文件，首先進入hadoop2.6配置文件夾：

第一步修改配置文件hadoop-env.sh，加入"JAVA-HOME",以下所示：

指定咱們安裝的「JAVA_HOME」：

第二步修改配置文件"yarn-env.sh"，加入"JAVA_HOME",以下所示：

指定咱們安裝的「JAVA_HOME」：

第三步 修改配置文件「mapred-env.sh」，加入「JAVA_HOME」，以下所示：

指定咱們安裝的「JAVA_HOME」：

第四步 修改配置文件slaves，以下所示：

設置從節點爲master，由於咱們是僞分佈式，以下所示：

第五步 修改配置文件core-site.xml，以下所示：

修改core-site.xml文件後：

目前來講，core-site.xml文件的最小化配置，core-site.xml各項配置可參考：http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/core-default.xml

第六步 修改配置文件 hdfs-site.xml，以下所示：

hdfs-site.xml文件修改後：

上述是hdfs-site.xml文件的最小化配置，hdfs-site.xml各項配置可參考：http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

第七步 修改配置文件 mapred-site.xml，以下所示：

copy mapred-site.xml.template命名爲mapred-site.xml，打開mapred-site.xml，以下所示：

mapred-site.xml 修改後：

上述是mapred-site.xml最小化配置，mapred-site.xml各項配置可參考：http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

第八步 配置文件yarn-site.xml，以下所示：

yarn-site.xml修改後：

上述內容是yarn-site.xml的最小化配置，yarn-site文件配置的各項內容可參考：http://hadoop.apache.org/docs/r2.6.0/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

五、啓動並驗證hadoop僞分佈式

第一步：格式化hdfs文件系統：

第二步：進入sbin中啓動hdfs，執行以下命令：

此刻咱們發如今master上啓動了NameNode、DataNode、SecondaryNameNode

此刻經過web控制檯查看hdfs，http://master:50070/ 

點擊「Live Nodes」，查看一下其信息：

第三步：啓動yarn

使用jps命令能夠發現master機器啓動了ResourceManager進程

PS:咱們上傳一個文件到hdfs吧：

hadoop web控制檯頁面的端口整理：

50070：hdfs文件管理

8088：ResourceManager

8042：NodeManager

19888：JobHistory(使用「mr-jobhistory-daemon.sh」來啓動JobHistory Server)