【Spark亞太研究構建Spark集羣-配置Hadoop僞分佈模式並運行Wordcount示例（1）

第四步：配置Hadoop僞分佈模式並運行Wordcount示例

僞分佈模式主要涉及一下的配置信息：

1. 修改Hadoop的核心配置文件core-site.xml，主要是配置HDFS的地址和端口號；

2. 修改Hadoop中HDFS的配置文件hdfs-site.xml，主要是配置replication;

3. 修改Hadoop的MapReduce的配置文件mapred-site.xml，主要是配置JobTracker的地址和端口；

在具體操做前咱們先在Hadoop目錄下建立幾個文件夾：

下面開始構建具體的僞分佈式的過程並進行測試：

首先配置core-site.xml文件：

進入core-site.xml文件：

配置後文件的內容以下所示：

使用「:wq」命令保存並退出。

接下來配置hdfs-site.xml，打開文件：

打開後的文件：

配置後的文件：

輸入「:wq」保存修改信息並退出。

接下來修改mapred-site.xml配置文件：

進入配置文件：

修改後的mapred-site.xml配置文件的內容爲：

使用「:wq」命令保存並退出。

經過上面的配置，咱們完成了最簡單的僞分佈式配置。

接下來進行hadoop的namenode格式化：

輸入「Y」,完成格式化過程：

接下來啓動Hadoop！

 

啓動Hadoop，以下所示：

使用java自帶的jps命令查詢出全部的守護進程:

啓動Hadoop！！！

接下來使用Hadoop中用於監控集羣狀態的Web頁面查看Hadoop的運行情況，具體的頁面以下：

http://localhost:50030/jobtracker.jsp    

http://localhost:50060/tasttracker.jsp   
http://localhost:50070/dfshealth.jsp    

上述Hadoop運行狀態監控頁面代表咱們的僞分佈式開發環境徹底搭建成功！

 接下來咱們使用新建的僞分佈式平臺運行wordcount程序：

首先在dfs中建立input目錄：

此時建立的文件由於沒有指定hdfs具體的目錄，因此會在當前用戶「rocky」下建立「input」目錄，查看Web控制檯：

執行文件拷貝操做