hadoop-3.2.0------>入門四 僞分佈式環境搭建

一：僞分佈式環境概念

            什麼是僞分佈式？

                    僞分佈式和分佈式區別：僞分佈式配置文件徹底按照分佈式配置文件配置，只不過全部東西配置在一臺服務器上。

二：環境搭建

                一、先配置hadoop環境變量

                                詳情請查看第一篇博客：http://www.javashuo.com/article/p-odbxzszn-kx.html

                二、配置core-site.xml（命令：vi   你的hadoop的根路徑下/etc/hadoop/core-site.xml）

                           將配置信息添加的<configuration></configuration>標籤中

                <!--指定hdfs中NameNode的地址-->
                <property>

                    <name>fs.defaultFS</name>

                    <value>hdfs://localhost:9000</value>

                </property>

                <!--指定hadoop運行時產生的文件存儲目錄-->
                <property>

                    <name>hadoop.tmp.dir</name>

                    <value>/usr/local/hadoop/hadoop-3.2.0/tmp</value>

                </property>

                            

                            點擊esc退出編輯模式，並輸入:wq!進行保存並退出。

                三、配置hadoop-env.sh（命令 vi etc/hadoop/hadoop-env.sh）

                                點擊i進入編輯模式

                                將配置信息添加的文件最下方，對jdk路徑進行修改

                    export JAVA_HOME=/usr/local/java/jdk1.8.0_131

                            

                            點擊esc退出編輯模式，輸入：wq！保存並退出

                四、配置hdfs-site.xml(命令：vi etc/hadoop/hdfs-site.xml)，該文件能夠選擇不配置

                            默認的副本數爲3，他會在其餘機器上也會有副本，若是某臺服務器上節點掛掉，他會再增長一個節點，始終保持爲三個節點副本，副本數的多少取決於機器的性能。

                    <!--指定hdfs的副本數量-->
                    <property>
                         <name>dfs.replication</name>
                         <value>1</value> 
                    </property>
                     <!--修改頁面端口號，默認爲9870，能夠不進行修改-->
                    <property>
                         <name>dfs.http.address</name>
                         <value>0.0.0.0:50070</value>
                    </property>

                五、格式化NameNode（第一次啓動時格式化，以後啓動不須要格式化）

                                命令： bin/hdfs namenode -format

                        

                六、啓動NameNode節點

                                命令：sbin/hadoop-daemon.sh start namenode

                七、運行完以後輸入jps查看進程中有沒有NameNode，若是有則啓動成功

                                

                八、啓動datanode節點

                               命令：sbin/hadoop-daemon.sh start datanode

                    

                 九、運行完以後輸入jps查看進程中有沒有datanode，若是有則啓動成功

                                

                 十、關閉防火牆（命令：service firewalld stop）

                 十一、在瀏覽器中輸入ip+端口號訪問，便可看到以下圖的頁面（HDFS頁面），（ip爲虛擬機ip，端口號是你在hdfs-site.xml文件中配置的端口號，如沒有配置默認爲9870）